CN115019597B - 基于云计算与云渲染的航空模拟训练的方法、装置及系统 - Google Patents

Abstract

本公开公开了基于云计算与云渲染的航空模拟训练的方法、装置及系统，涉及航空技术领域，主要技术方案包括：飞行模拟器采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

Description

基于云计算与云渲染的航空模拟训练的方法、装置及系统

技术领域

本公开涉及航空技术领域，尤其涉及一种基于云计算与云渲染的航空模拟训练的方法、装置及系统。

背景技术

飞行模拟器作为一种典型的人在回路实时仿真航空模拟训练系统，用于模拟真实飞机在执行飞行任务中的各种状态，并给受训人员提供飞行状态下逼真的视觉、听觉、触觉、操纵负荷、力反馈等感觉的模拟，具有仿真的逼真性、实时性和强交互性等特点。

目前针对仿真航空模拟训练，主要采用分布式仿真的技术架构，具有复杂的视景生成和显示系统，通常采用具有大视场角的实像或者虚像球幕、柱幕等投影显示设备或LED球幕，并采用多通道的视景图像生成计算机同步渲染输出舱外视景画面。

发明人在实施上述方法时发现，虽然上述方法能够进行航空模拟训练，但是，该方法对飞行模拟器的计算资源要求较高，导致成本高昂，不利于推广使用。

发明内容

本公开提供了一种航空模拟训练的方法、装置及系统。其主要目的在于解决现有技术中，航空模拟训练系统对于计算资源要求较高，导致成本高昂的问题。

根据本公开的第一方面，提供了一种航空模拟训练的方法，所述方法应用于飞行模拟器，包括：

基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算，并根据所述云计算结果进行云渲染；

接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收所述服务器返回的云渲染结果，并将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备。

可选的，所述将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备包括：

基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准；

基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理；

提取纯色背景下的座舱外框边缘；

对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理；

对所述舱外视景图像进行三维形变的处理。

可选的，所述视频透射式的头显设备为扩展现实XR头显设备。

可选的，所述接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控包括：

基于座舱数据采集和驱动设备接收所述仿真云计算结果，并驱动座舱内中所述操控信息对应的操控。

根据本公开的第二方面，提供了一种航空模拟训练的方法，所述方法应用于服务器，包括：

接收座舱发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

接收模拟训练控制终端发送的控制管理信息；

根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算，并根据所述云计算结果进行云渲染；

分别将仿真云计算结果发送至座舱及所述模拟训练控制终端；

将云渲染结果发送至所述视频透射式的头显设备。

可选的，所述根据所述云计算结果进行云渲染包括：

调用预设虚拟化图形处理器，根据所述头位姿态信息、所述操控信息及云计算结果，对舱外视景图像进行渲染。

可选的，所述将云渲染结果发送至所述视频透射式的头显设备包括：

将所述舱外视景图像经预设协议压缩后，以串流方式将压缩后的舱外视景图像发送至所述视频透射式的头显设备。

根据本公开的第三方面，提供了一种航空模拟训练的装置，所述装置应用于飞行模拟器，包括：

采集单元，用于基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

上传单元，用于分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算；

渲染单元，用于根据所述云计算结果进行云渲染；

驱动单元，用于接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收单元，用于接收所述服务器返回的云渲染结果；

绘制单元，用于将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备。

可选的，所述绘制单元包括：

校准模块，用于基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准；

第一处理模块，用于基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理；

提取模块，用于提取纯色背景下的座舱外框边缘；

第二处理模块，用于对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理；

第三处理模块，用于对所述舱外视景图像进行三维形变的处理。

可选的，所述视频透射式的头显设备为扩展现实XR头显设备。

可选的，所述驱动单元，还用于基于座舱数据采集和驱动设备接收所述仿真云计算结果，并驱动座舱内中所述操控信息对应的操控。

根据本公开的第四方面，提供了一种航空模拟训练的装置，所述装置应用于服务器，包括：

第一接收单元，用于接收飞行模拟器发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

第二接收单元，用于接收模拟训练控制终端发送的控制管理信息；

计算单元，用于根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算；

渲染单元，用于根据所述云计算结果进行云渲染；

第一发送单元，用于分别将仿真云计算结果发送至座舱及所述模拟训练控制终端；

第二发送单元，用于将云渲染结果发送至所述视频透射式的头显设备。

可选的，所述渲染单元，还用于调用预设虚拟化图形处理器，根据所述头位姿态信息、所述操控信息及云计算结果，对舱外视景图像进行渲染。

可选的，所述第二发送单元，还用于将所述舱外视景图像经预设协议压缩后，以串流方式将压缩后的舱外视景图像发送至所述视频透射式的头显设备。

根据本公开的第五方面，提供了一种航空模拟训练的系统，包括：飞行模拟器、服务器、模拟训练控制终端，其中

所述服务器用于：

接收飞行模拟器发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

接收模拟训练控制终端发送的控制管理信息；

根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算，并根据所述云计算结果进行云渲染；

分别将仿真云计算结果发送至座舱及所述模拟训练控制终端；

将云渲染结果发送至所述视频透射式的头显设备；

所述飞行模拟器用于：

基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算，并根据所述云计算结果进行云渲染；

接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收所述服务器返回的云渲染结果，并将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备；

所述模拟训练控制终端用于：

向所述服务器发送控制管理信息；

接收所述服务器发送的仿真云计算结果。

可选的，所述模拟训练控制终端还用于：飞行模拟器的云资源分配和释放申请、航空模拟训练课目、训练编组及训练进度的管理和训练态势的监视。

本公开提供的航空模拟训练的方法、装置及系统，主要技术方案包括：飞行模拟器采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。与相关技术相比，本申请实施例通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种航空模拟训练的方法的流程示意图；

图2为本公开实施例所提供的一种航空模拟训练系统的结构示意图；

图3为本公开实施例所提供的另一种航空模拟训练的方法的流程示意图；

图4为本公开实施例所提供的一种航空模拟训练系统的流程示意图；

图5为本公开实施例所提供的一种航空模拟训练的装置的结构示意图；

图6为本公开实施例所提供的另一种航空模拟训练的装置的结构示意图；

图7为本公开实施例所提供的另一种航空模拟训练的装置的结构示意图；

图8为本公开实施例所提供的一种航空模拟训练的系统的组成框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的航空模拟训练的方法、装置及系统。

图1为本公开实施例所提供的一种航空模拟训练的方法的流程示意图。该方法应用于飞行模拟器侧。如图1所示，该方法包含以下步骤：

步骤101，基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息。

由于头显设备采用视频透射式，因此训练人员在训练时可以观察到现实中的座舱内部环境，对于座舱外部的视景，需经过仿真云计算、云渲染处理后再进行展示，在对舱外视景处理之前，需先确定训练人员的视线范围，基于训练人员的视线范围确定计算、渲染的内容。采集训练人员的头位姿态信息，根据训练人员的头位姿态确定其视线方向，例如：当训练人员头位姿态为向右转，则可确定其视线为向右观察；当训练人员头位姿态为抬起向上时，则可确定其视线为向上观察；本申请实施例对训练人员的头位姿态不进行限定。

飞行模拟器为按照实物座舱按照1:1仿制的模拟座舱，其中包含驾驶杆、油门杆、脚蹬、开关指示灯面板、航电显示和仪表指示设备等设备，具有逼真的设备布局，因此训练人员在座舱可进行与真实飞行座舱相同的操控，并由座舱内置传感器进行采集操控信息。

步骤102，分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算，并根据所述云计算结果进行云渲染。

请参考图2，图2为本申请实施例所提供的一种航空模拟训练系统的结构示意图；由于在训练人员训练过程中，对于舱外视景图像的渲染为实时渲染，因此需保障信息快速传输，以提高训练人员的训练效果，因此在传输信息时，采用网络设备进行中转加快传输速度，网络设备可采用如高速交换机、路由器、5GMesh等有线或无线网络设备，本申请实施例对网络设备的类型不进行限定。

进行云渲染时，根据头位姿态信息、操控信息以及仿真云计算结果对舱外视景进行渲染。

步骤103，接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控。

座舱驱动根据仿真云计算结果，对座舱指示灯、航电画面显示以及各类仪表的指示进行调整，例如：根据仿真云计算得到仿真飞机的加速度，则调整座椅，给予训练人员相应的推背感，根据仿真云计算得到的飞机当前飞行速度，对速度仪表进行调整。

步骤104，接收所述服务器返回的云渲染结果，并将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备。

在训练人员进行训练时，视频透射式的头显设备会对座舱内外视景进行录制，当视频透射式的头显设备接收到服务器发送的云渲染出的舱外视景图像后，用云渲染出的舱外视景图像将录制视频中的舱外视景图像进行覆盖，使训练人员在视频透射式头显设备中能够观察到虚实结合的视频图像：真实的舱内视景以及虚拟舱外视景。

本公开提供的航空模拟训练的方法，主要技术方案包括：座舱采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。与相关技术相比，本申请实施例通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

作为对上述申请实施例的扩展，本申请实施例中采用的视频透射式头显设备为扩展现实XR头显设备。

为对上述申请实施例的扩展，本申请实施例采用仿真云计算与云渲染的方式对航空模拟训练过程中的数据进行计算，对画面进行渲染，请继续参阅图2，在进行仿真云计算与云渲染时，服务器可同时根据多台飞行模拟器传输的数据分别对不同的飞行模拟器进行单独或联合仿真云计算与云渲染，图2以飞行模拟器数目为2进行说明，但是，该种说明方式并非对一个服务器对应的飞行模拟器数量的限定，本申请实施例对一个服务器对应的座舱数量不进行限定。

作为本申请实施例的一种可能的实现方式，在将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备时，视频透射式的头显设备还要完成对舱内、舱外视景图像的处理，才能够完成显示，具体处理内容包括以下几种：基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准，在基于双目摄像机拍摄图像时，对于双目摄像机拍摄的视频图像进行处理，使其拍摄角度、范围与训练人员的眼部位置、视野范围一致；基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理，并对视频图像中的座舱边缘进行提取，确定出云渲染舱外视景插入位置，确定位置之后完成视频的插入；提取纯色背景下的座舱外框边缘，并对云渲染舱外视景进行对比度的处理，使其突出训练目标，虚化背景，降低长时间面对如天空、白云等对视力造成的伤害；对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理，根据云渲染舱外视景的实时光照，对舱内视景图像进行调整，实现舱内视景图像与舱外视景图像的实时光照一致性；对所述舱外视景图像进行三维形变的处理，当训练用户头位姿态发生变化时，为克服头位变化造成视景图像渲染延迟影响，采用异步渲染法，即对于当前用户头位姿态变化的一帧不进行渲染，对当前帧的前一帧舱外图像进行三维形变，给服务器留有渲染缓冲时间；通过上述步骤实现XR头显端与云计算和云渲染服务器端的协同式实时渲染。

作为本申请实施例的一种实现方式，在根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控时，可采用以下述方法：基于座舱数据采集和驱动设备接收所述仿真云计算结果，并驱动座舱内中所述操控信息对应的操控。

图3为本公开实施例提供的另一种航空模拟训练的方法的流程示意图。该方法用于服务器侧。如图3所示，包括：

步骤201，接收飞行模拟器发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息。

步骤202，接收模拟训练控制终端发送的控制管理信息。

所述控制管理信息中包含如：飞行器的开始的姿态、位置，训练课目、联合训练中的飞行模拟器分组、敌方战机数量、位置等信息，完成飞行仿真、航电仿真、武器系统仿真和计算机生成兵力仿真等解算，也完成视景图像渲染所需的地形数据管理和调度。

步骤203，根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算，并根据所述云计算结果进行云渲染。

在云计算服务器中，根据头位姿态信息、所述操控信息及控制管理信息进行仿真云计算，完成仿真云计算后，将仿真云计算计算结果送入云渲染服务器，并由云渲染服务器根据头位姿态信息、所述操控信息计算结果以及仿真云计算计算结果对舱外视景进行云渲染。

步骤204，分别将仿真云计算结果发送至座舱及所述模拟训练控制终端。

将仿真云计算结果基于网络设备进行发送到座舱及模拟训练控制终端，模拟训练控制终端根据仿真云计算结果对训练过程进行监督、管理，座舱可根据仿真与计算结果执行相应的操控。

步骤205，将云渲染结果发送至所述视频透射式的头显设备。

云渲染服务器完成渲染后，将渲染结果通过网络设备发送给视频透射式的头显设备。

作为上述申请实施例的扩展，在根据头位姿态信息、所述操控信息以及云计算结果进行云渲染时，可采用下述方法：调用预设虚拟化图形处理器，根据所述头位姿态信息、所述操控信息及云计算结果，对舱外视景图像进行渲染。

在步骤205将云渲染结果发送至所述视频透射式的头显设备时，由于云渲染结果为图像信息，无法直接传输，可采用下述方式：将所述舱外视景图像经预设协议压缩后，以串流方式将压缩后的舱外视景图像发送至所述视频透射式的头显设备，所述预设协议可参照OpenVR、WebGL、WebVR、WebXR等协议进行压缩，本申请实施例对此不进行限定。

本公开提供的航空模拟训练的方法，飞行模拟器采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。与相关技术相比，本申请实施例通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

作为对上述申请实施例的扩展，由于飞行模拟器在进行航空模拟训练时，根据其训练课目不同，对与仿真云计算与云渲染的资源需求也不同；请继续参阅图2，服务器中，包含控制管理服务器、云计算服务器以及云渲染服务器，其中，控制管理服务器会根据飞行模拟器的仿真云计算与云渲染资源需求，对云计算服务期和云渲染服务器的云资源进行动态分配，云计算服务器用于根据头位姿态信息、操控信息以及控制管理信息进行仿真云计算，云渲染服务器用于根据头位姿态信息、操控信息以及仿真云计算结果进行云渲染；需要说明的是，服务器中的控制管理服务器、云计算服务器以及云渲染服务器数量可根据实际需求进行设置，本申请实施例中以控制管理服务器的数量为1，云计算服务器以及云渲染服务器的数量为2进行说明，需要说明的是，该种实现方式并非是对控制管理服务器、云计算服务器以及云渲染服务器的数量的具体限定。

作为一种可能的实现方式，在布置服务器时，可将云计算和云渲染服务器集群部署在本地仿真服务中心，带动本地多台飞行模拟器的联网训练，同时支持本地仿真服务中心与异地的仿真中心互联，从而构成军兵种级的仿真云，这样本地的服务器则提供边缘计算功能，为本地的飞行模拟器提供实时交互仿真计算。

为了便于理解本申请实施例中飞行模拟器、服务器以及模拟训练控制终端三者之间的交互关系，请参考图4，图4为本申请实施例所提供的一种航空模拟训练系统的流程示意图，如图4所示，包括：

步骤301，飞行模拟器基于视频透射式头显设备采集训练人员头位姿态信息，基于传感器采集训练人员的座舱操控信息。

步骤302，飞行模拟器将头位姿态信息以及操控信息传输到服务器中。

步骤303，服务器接收头位姿态信息以及操控信息。

步骤304，模拟训练控制终端向服务器发出控制管理信息。

步骤305，服务器接收控制管理信息。

步骤306，服务器基于控制管理信息、头位姿态信息以及操控信息进行仿真云计算。

步骤307，服务器根据头位姿态信息、操控信息以及仿真云计算结果进行云渲染。

步骤308，服务器将仿真云计算结果分别传输到模拟训练控制终端和座舱中。

步骤309，模拟训练控制终端接收仿真云计算结果。

步骤3010，飞行模拟器基于座舱数据采集和驱动设备接收仿真云计算结果。

步骤3011，服务器将云渲染结果传输到视频透射式头显设备中。

步骤3012，飞行模拟器基于视频透射式头显设备接收云渲染结果。

步骤3013，飞行模拟器基于视频透射式头显设备对视频图像进行处理。

步骤3014，在视频透射式头显设备中展示处理后的云渲染结果。

具体实现方式请参考上述实施例，本申请实施例对此不在进行一一赘述。

本公开提供的航空模拟训练的系统，飞行模拟器采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。与相关技术相比，与相关技术相比，本申请实施例通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

与上述的航空模拟训练方法相对应，本发明还提出一种航空模拟训练装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。

图5为本公开实施例提供的一种航空模拟训练的装置的结构示意图，如图5所示，所述装置应用于飞行模拟器侧，包括：

采集单元41，用于基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

上传单元42，用于分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算；

渲染单元43，用于根据所述云计算结果进行云渲染；

驱动单元44，用于接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收单元45，用于接收所述服务器返回的云渲染结果；

绘制单元46，用于将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备。

本公开提供的航空模拟训练的装置，主要技术方案包括：飞行模拟器采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。与相关技术相比，本申请实施例通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

进一步地，在本实施例一种可能的实现方式中，如图6所示，所述绘制单元46包括：

校准模块461，用于基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准；

第一处理模块462，用于基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理；

提取模块463，用于提取纯色背景下的座舱外框边缘；

第二处理模块464，用于对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理；

第三处理模块465，用于对所述舱外视景图像进行三维形变的处理。

进一步地，在本实施例一种可能的实现方式中，所述视频透射式的头显设备为扩展现实XR头显设备。

进一步地，在本实施例一种可能的实现方式中，所述驱动单元44，还用于基于座舱数据采集和驱动设备接收所述仿真云计算结果，并驱动座舱内中所述操控信息对应的操控。

图7为本公开实施例提供的另一种航空模拟训练的装置的结构示意图，如图7所示，包括：

第一接收单元51，用于接收座舱发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

第二接收单元52，用于接收模拟训练控制终端发送的控制管理信息；

计算单元53，用于根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算；

渲染单元54，用于根据所述云计算结果进行云渲染；

第一发送单元55，用于分别将仿真云计算结果发送至座舱及所述模拟训练控制终端；

第二发送单元56，用于将云渲染结果发送至所述视频透射式的头显设备。

本公开提供的航空模拟训练的装置，飞行模拟器采集训练人员的头位姿态信息以及操控信息并传输到服务器中，由服务器根据头位姿态信息、操控信息以及模拟训练控制终端发送的控制管理信息进行仿真云计算和云渲染，并分别将仿真云计算、云渲染的结果传回座舱与视频透射式头显设备中，座舱根据仿真云计算的结果驱动座舱执行与操控信息对应的操控，并将云渲染得出的舱外视景通过头显设备向用户展示。与相关技术相比，本申请实施例通过服务器对训练数据进行仿真云计算，对训练画面进行云渲染的方式，多台飞行模拟器可共用一个服务器，降低了航空模拟训练系统的造价，并且便于推广。

进一步地，在本实施例一种可能的实现方式中，所述渲染单元54，还用于调用预设虚拟化图形处理器，根据所述头位姿态信息、所述操控信息及云计算结果，对舱外视景图像进行渲染。

进一步地，在本实施例一种可能的实现方式中，所述第二发送单元56，还用于将所述舱外视景图像经预设协议压缩后，以串流方式将压缩后的舱外视景图像发送至所述视频透射式的头显设备

需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，本实施例中不再限定。

根据本公开的实施例，本申请还提出一种航空模拟训练的系统，如图8所示，所述系统包括：服务器61、飞行模拟器62、模拟训练控制终端63，其中，

所述服务器61用于：

接收飞行模拟器62发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

接收模拟训练控制终端63发送的控制管理信息；

根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算，并根据所述云计算结果进行云渲染；

分别将仿真云计算结果发送至飞行模拟器62及所述模拟训练控制终端63；

将云渲染结果发送至所述视频透射式的头显设备；

所述飞行模拟器62用于：

基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

分别将所述头位姿态信息及所述操控信息上传至服务器61，以便所述服务器61根据所述头位姿态信息及所述操控信息进行仿真云计算，并根据所述云计算结果进行云渲染；

接收所述服务器61返回的仿真云计算结果，并根据所述仿真云计算结果在飞行模拟器62内驱动所述操控信息对应的操控；

接收所述服务器61返回的云渲染结果，并将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备；

所述模拟训练控制终端63用于：

向所述服务器61发送控制管理信息；

接收所述服务器61发送的仿真云计算结果。

进一步地，在本实施例一种可能的实现方式中，所述模拟训练控制终端还用于：飞行模拟器的云资源分配和释放申请、航空模拟训练课目、训练编组及训练进度的管理和训练态势的监视。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (8)

1.一种航空模拟训练的方法，其特征在于，所述方法应用于飞行模拟器，包括：

基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算，并根据所述云计算结果进行云渲染；

接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收所述服务器返回的云渲染结果，并将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备；

所述将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备包括：

基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准；

基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理；

提取纯色背景下的座舱外框边缘；

对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理；

对所述舱外视景图像进行三维形变的处理。

2.根据权利要求1所述的方法，其特征在于，所述视频透射式的头显设备为扩展现实XR头显设备。

3.根据权利要求1所述的方法，其特征在于，所述接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控包括：

基于座舱数据采集和驱动设备接收所述仿真云计算结果，并驱动座舱内中所述操控信息对应的操控。

4.一种航空模拟训练的装置，其特征在于，所述装置应用于飞行模拟器，包括：

采集单元，用于基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

上传单元，用于分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算；

渲染单元，用于根据所述云计算结果进行云渲染；

驱动单元，用于接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收单元，用于接收所述服务器返回的云渲染结果；

绘制单元，用于将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备；

所述绘制单元包括：

校准模块，用于基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准；

第一处理模块，用于基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理；

提取模块，用于提取纯色背景下的座舱外框边缘；

第二处理模块，用于对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理；

第三处理模块，用于对所述舱外视景图像进行三维形变的处理。

5.根据权利要求4所述的装置，其特征在于，所述视频透射式的头显设备为扩展现实XR头显设备。

6.根据权利要求4所述的装置，其特征在于，所述驱动单元，还用于基于座舱数据采集和驱动设备接收所述仿真云计算结果，并驱动座舱内中所述操控信息对应的操控。

7.一种航空模拟训练的系统，其特征在于，所述系统包括：服务器、飞行模拟器、模拟训练控制终端，其中，

所述服务器用于：

接收飞行模拟器发送的基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

接收模拟训练控制终端发送的控制管理信息；

根据所述头位姿态信息、所述操控信息及控制管理信息进行仿真云计算，并根据所述云计算结果进行云渲染；

分别将仿真云计算结果发送至座舱及所述模拟训练控制终端；

将云渲染结果发送至所述视频透射式的头显设备；

所述飞行模拟器用于：

基于视频透射式的头显设备采集训练人员的头位姿态信息，以及基于预设传感器采集对座舱的操控信息；

分别将所述头位姿态信息及所述操控信息上传至服务器，以便所述服务器根据所述头位姿态信息及所述操控信息进行仿真云计算，并根据所述云计算结果进行云渲染；

接收所述服务器返回的仿真云计算结果，并根据所述仿真云计算结果在座舱内驱动所述操控信息对应的操控；

接收所述服务器返回的云渲染结果，并将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备；

所述将所述云渲染结果对应的视景图像绘制于所述视频透射式的头显设备包括：

基于所述视频透射式的头显设备对视频图像的双目摄像机进行校准；

基于所述视频透射式的头显设备对所述视频图像进行直方图均衡处理；

提取纯色背景下的座舱外框边缘；

对所述座舱外框边缘、所述双目摄像机拍摄的舱内视频图像、及所述渲染结果中的舱外视景图像进行光照和/或颜色的融合处理；

对所述舱外视景图像进行三维形变的处理；

所述模拟训练控制终端用于：

向所述服务器发送控制管理信息；

接收所述服务器发送的仿真云计算结果。

8.根据权利要求7所述的系统，其特征在于，所述模拟训练控制终端还用于：飞行模拟器的云资源分配和释放申请、航空模拟训练课目、训练编组及训练进度的管理和训练态势的监视。