CN115808974B - 沉浸式指挥中心构建方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种面向多场景XR系统的沉浸式指挥中心构建方法、系统及存储介质，该方法包括：构建多级指挥场景；从低到高在各级指挥场景加载其直属场景；根据用户发送的场景进入指令，为用户生成进入单个场景或同时进入多个场景进行指挥的沉浸式指挥体验；在选定的场景提供用户进行跨层级指挥。本发明多场景XR系统里同时运行大量XR场景，通过构建多层级指挥体系，使得指挥人员可以进入不同层级的指挥场景，能沉浸式观看到所有下属场景的实时运行情况，能对所有下属场景进行精准指挥互动。

Description

沉浸式指挥中心构建方法、系统及存储介质

技术领域

本发明涉及XR技术领域，尤其涉及一种面向多场景XR系统的沉浸式指挥中心构建方法、系统及存储介质。

背景技术

虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术在解决职业教育实训中的看不见、摸不着、进不去等难题有重大价值。VR、AR、MR等(简称XR，扩展现实)技术相通相融。在5G网络、wifi6等高性能无线网络技术赋能下，XR移动终端(5G手机、头显等)所需的存储、计算、渲染等服务都可以放到云端。由此，基于云存储、云计算、云渲染等云服务，单个XR终端所能拥有的计算、存储、渲染能力可以无上限。

在大型组织里，例如社区、学校、商场等，当许多人同时在大量不同XR场景进行沉浸式体验时，为了便于管理，需要构建基于XR技术的沉浸式指挥中心。以沉浸式校园为例，在沉浸式校园中，全校各专业的师生开展虚拟实训教学，将可能有成千上万的虚拟实训场景同时运行。沉浸式校园的指挥中心，需要将成千上万运行的虚拟实训场景按班级、专业、院系分级管理。

发明内容

本发明的主要目的在于提供一种面向多场景XR系统的沉浸式指挥中心构建方法、系统及存储介质，使指挥人员可以进入不同层级的指挥场景，能沉浸式观看到所有下属场景的实时运行情况，能对所有下属场景进行精准指挥互动。

为实现上述目的，本发明提出一种面向多场景XR系统的沉浸式指挥中心构建方法，所述方法包括以下步骤：

步骤S10：构建多级指挥场景；

步骤S20：从低到高在各级指挥场景加载其直属场景；

步骤S30：根据用户发送的场景进入指令，为用户生成进入单个场景或同时进入多个场景进行指挥的沉浸式指挥体验；

其中，所述步骤S10包括：

定义多级指挥层级体系，不同指挥层级之间，指挥权限不同，同一层级不同的指挥场景，指挥对象不同；以及定义各级指挥场景的指挥功能，并由此建立各指挥场景的命令集，以及各命令对应的响应。

其中，所述步骤S20包括：

在各基层场景实时生成体素图；

设定各基层场景体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系；

将各基层场景体素图按设定的体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系，实时呈现到其直属上级场景，完成直属上级指挥场景对基层场景的加载；

由低到高，将低级指挥场景依次加载到高级指挥场景。

其中，所述在各基层场景实时生成体素图包括：

设定基层场景三维成像区域以及体素图的分辨率；

确定体素图各体素对应的基层场景成像三维区间；

由对应成像三维区间的场景内容成像特征，实时确定各体素的值。

其中，所述步骤S30中为用户生成进入单个场景指挥的沉浸式指挥体验包括：

计算各直属下级场景在用户所在指挥场景的显示区间；

判断用户指挥操作产生的互动命令是否直接作用于直属下级场景；

当互动命令不是直接作用于直属下级场景，用户所处场景响应此互动命令，否则把互动命令转换成对应直属下级场景的互动命令；

对应直属下级场景接收并响应转换后的互动命令。

其中，所述步骤S30中为用户生成同时进入多个场景指挥的沉浸式指挥体验包括：

设定多个场景在用户p_i体验空间显示区间及场景坐标系与用户p_i体验空间坐标系的旋转缩放平移关系；

计算各场景的成像区间；

计算用户p_i在各场景坐标系下的位姿值；

各场景分别渲染用户位姿下的体验画面，其中任意场景s_k生成体验画面图像I^k，j，对应深度图像为D^k，j；

拼接合成各场景体验画面生成用户p_i同时进入多场景指挥的体验画面，合成时需要根据各场景在用户p_i体验空间深度信息进行遮挡计算，其中任意场景s_k体验画面图像I^k，j对应深度图像为D^k，j，场景s_k坐标系到用户p_i体验空间坐标系缩放系数为λ_k，由此I^k，j在用户体验空间对应深度图像为λ_kD^k，j；

用户在体验空间进行互动指挥，产生互动命令，判断互动命令作用于哪个场景，当判断出互动命令作用于场景s_k，则把互动命令的位姿参数转换到到场景s_k坐标系，把位姿参数转换后的互动命令发送给场景s_k，场景s_k响应此互动命令。

其中，所述步骤S30后还有步骤S40：

在选定的场景提供用户进行跨层级指挥，用户在任意指挥场景内，可以对跨越多个指挥层级的场景/>直接进行互动指挥。

其中，所述步骤S40中跨层级指挥中，用户进入指挥场景进行指挥，场景/>为跨越多个层级的下级场景，/>的直属上级指挥场景用/>表示，/>的直属上级指挥场景用/>表示，依次类推，用户p在指挥场景/>对/>进行跨场景指挥，具体实现包括：

计算体素图在场景/>的直属下级场景/>体素图成像坐标系下显示区间

场景实时加载直属下级场景体素图，但在加载/>的体素图/>时，/>中对区间/>成像的体素不加载；

计算体素图成像坐标系与场景/>坐标系的坐标值变换矩阵；

接收并加载/>的体素图；

在场景对/>进行指挥，生成互动命令，互动命令转换成场景/>的互动命令，转换后的互动命令直接发送给/> 对此命令进行响应。

本发明还提出一种面向多场景XR系统的沉浸式指挥中心构建系统，所述系统包括：沉浸式指挥中心管理服务器、多台XR应用服务器、存储服务器以及流媒体服务器，其中，用户的XR终端通过网络访问所述管理服务器与所有XR应用服务器，所述管理服务器部署有沉浸式指挥中心服务端，所述存储服务器部署有XR应用库，所述流媒体服务器安装有流媒体服务端，用户端安装在用户的XR终端上：

所述XR应用库，用于存储预制的各级指挥场景模板，指挥场景模板里定义了指挥命令集及对应的各命令响应功能；

所述沉浸式指挥中心服务端，用于设定指挥层级体系，从XR应用库调用各级指挥场景模板生成指挥场景，设定基层场景与指挥场景之间的从属关系，设定指挥场景之间的从属关系，设定各场景需要生成体素图的三维成像区间，设定各场景体素图成像坐标系与场景坐标系的旋转平移关系，设定各场景体素图成像坐标系到直属上级场景坐标系的旋转缩放平移关系，指令XR应用服务器为用户分配场景实例或分配场景实例用于生成体素图，令下级场景向上级场景传输体素图，上级场景加载下级场景体素图；

所述XR应用服务器，用于接收沉浸式指挥中心服务端发送过来的指挥场景实例化指令，XR应用服务端将根据指令里生成指挥场景的模板I D，调用对应指挥场景模板，生成虚拟场景实例，接收沉浸式指挥中心服务端发送过来的场景实例分配指令，分配相应场景实例给用户或用于生成体素图，当现有场景实例没有充足的计算资源时，需要新生成此场景的实例，并且场景新实例与原来的场景实例同步状态，接收沉沉浸式指挥中心服务端发送过来的销毁指挥场景实例指令，销毁指挥场景实例；

所述流媒体服务端，用于实时接收并汇总归属同一个直属上级指挥场景的所有场景体素图，并实时发送给对应的直属上级指挥场景；

所述用户端，用于定位用户在场景中的位姿，当用户同时进入多个场景时，需要分别计算用户在各场景坐标系下的位姿，接收场景实例发送过来的沉浸式体验画面，显示给用户看，当用户同时进入多个场景体验时，还需拼接合成场景体验画面，采集用户终端的互动操作信息，生成互动操作命令，发送给体验场景，当用户同时进入多个场景体验时，需把互动命令转换成用户互动所直接作用的场景坐标系下的互动命令，当用户对下属场景互动时，互动命令需要转换成下属场景坐标系的互动命令。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的面向多场景XR系统的沉浸式指挥中心构建方法的步骤。

本发明提出的一种面向多场景XR系统的沉浸式指挥中心构建方法，多场景XR系统里同时运行大量XR场景，通过构建多层级指挥体系，使得指挥人员可以进入不同层级的指挥场景，能沉浸式观看到所有下属场景的实时运行情况，能对所有下属场景进行精准指挥互动。

附图说明

图1为本发明面向多场景XR系统的沉浸式指挥中心构建方法的流程示意图。

图2为本发明多级指挥体系示意图。

图3为本发明指挥体系场景实例网络示意图。

图4为本发明用户跨层级指挥示意图。

图5为本发明用户同时进入多个场景进行体验示意图。

图6为本发明沉浸式指挥中心系统硬件构成示意图。

图7为本发明沉浸式指挥中心系统软件构成示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提出一种面向多场景XR系统的沉浸式指挥中心构建方法，所述方法包括以下步骤：

步骤S10：构建多级指挥场景；

步骤S20：从低到高在各级指挥场景加载其直属场景；

步骤S30：根据用户发送的场景进入指令，为用户生成进入单个场景或同时进入多个场景进行指挥的沉浸式指挥体验；

其中，所述步骤S10包括：

定义多级指挥层级体系，不同指挥层级之间，指挥权限不同，同一层级不同的指挥场景，指挥对象不同；以及定义各级指挥场景的指挥功能，并由此建立各指挥场景的命令集，以及各命令对应的响应。

其中，所述步骤S20包括：

在各基层场景实时生成体素图；

设定各基层场景体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系；

将各基层场景体素图按设定的体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系，实时呈现到其直属上级场景，完成直属上级指挥场景对基层场景的加载；

由低到高，将低级指挥场景依次加载到高级指挥场景。

其中，所述在各基层场景实时生成体素图包括：

设定基层场景三维成像区域以及体素图的分辨率；

确定体素图各体素对应的基层场景成像三维区间；

由对应成像三维区间的场景内容成像特征，实时确定各体素的值。

其中，所述步骤S30中为用户生成进入单个场景指挥的沉浸式指挥体验包括：

计算各直属下级场景在用户所在指挥场景的显示区间；

判断用户指挥操作产生的互动命令是否直接作用于直属下级场景；

当互动命令不是直接作用于直属下级场景，用户所处场景响应此互动命令，否则把互动命令转换成对应直属下级场景的互动命令；

对应直属下级场景接收并响应转换后的互动命令。

其中，所述步骤S30中为用户生成同时进入多个场景指挥的沉浸式指挥体验包括：

设定多个场景在用户p_i体验空间显示区间及场景坐标系与用户p_i体验空间坐标系的旋转缩放平移关系；

计算各场景的成像区间；

计算用户p_i在各场景坐标系下的位姿值；

各场景分别渲染用户位姿下的体验画面，其中任意场景s_k生成体验画面图像I^k，j，对应深度图像为D^k，j；

拼接合成各场景体验画面生成用户p_i同时进入多场景指挥的体验画面，合成时需要根据各场景在用户p_i体验空间深度信息进行遮挡计算，其中任意场景s_k体验画面图像I^k，j对应深度图像为D^k，j，场景s_k到用户p_i体验空间缩放系数为λ_k，由此I^k，j在用户体验空间对应深度图像为λ_kD^k，j；

用户在体验空间进行互动指挥，产生互动命令，判断互动命令作用于哪个场景，当判断出互动命令作用于场景s_k，则把互动命令的位姿参数转换到到场景s_k坐标系，把位姿参数转换后的互动命令发送给场景s_k，场景s_k响应此互动命令。

其中，所述步骤S30后还有步骤S40：

在选定的场景提供用户进行跨层级指挥，用户在任意指挥场景内，可以对跨越多个指挥层级的场景/>直接进行互动指挥。

其中，所述步骤S40中跨层级指挥中，用户进入指挥场景进行指挥，场景/>为跨越多个层级的下级场景，/>的直属上级指挥场景用/>表示，/>的直属上级指挥场景用/>表示，依次类推，用户p在指挥场景/>对/>进行跨场景指挥，具体实现包括：

计算体素图在场景/>的直属下级场景/>体素图成像坐标系下显示区间

场景实时加载直属下级场景体素图，但在加载/>的体素图/>时，/>中对区间/>成像的体素不加载；

计算体素图成像坐标系与场景/>坐标系的坐标值变换矩阵；

接收并加载/>的体素图；

在场景对/>进行指挥，生成互动命令，互动命令转换成场景/>的互动命令，转换后的互动命令直接发送给/> 对此命令进行响应。

本发明还提出一种面向多场景XR系统的沉浸式指挥中心构建系统，所述系统包括：沉浸式指挥中心管理服务器、多台XR应用服务器、存储服务器以及流媒体服务器，其中，用户的XR终端通过网络访问所述管理服务器与所有XR应用服务器，所述管理服务器部署有沉浸式指挥中心服务端，所述存储服务器部署有XR应用库，所述流媒体服务器安装有流媒体服务端，用户端安装在用户的XR终端上：

所述XR应用库，用于存储预制的各级指挥场景模板，指挥场景模板里定义了指挥命令集及对应的各命令响应功能；

所述沉浸式指挥中心服务端，用于设定指挥层级体系，从XR应用库调用各级指挥场景模板生成指挥场景，设定基层场景与指挥场景之间的从属关系，设定指挥场景之间的从属关系，设定各场景需要生成体素图的三维成像区间，设定各场景体素图成像坐标系与场景坐标系的旋转平移关系，设定各场景体素图成像坐标系到直属上级场景坐标系的旋转缩放平移关系，指令XR应用服务器为用户分配场景实例或分配场景实例用于生成体素图，令下级场景向上级场景传输体素图，上级场景加载下级场景体素图；

所述XR应用服务器，用于接收沉浸式指挥中心服务端发送过来的指挥场景实例化指令，XR应用服务端将根据指令里生成指挥场景的模板I D，调用对应指挥场景模板，生成虚拟场景实例，接收沉浸式指挥中心服务端发送过来的场景实例分配指令，分配相应场景实例给用户或用于生成体素图，当现有场景实例没有充足的计算资源时，需要新生成此场景的实例，并且场景新实例与原来的场景实例同步状态，接收沉沉浸式指挥中心服务端发送过来的销毁指挥场景实例指令，销毁指挥场景实例；

所述流媒体服务端，用于实时接收并汇总归属同一个直属上级指挥场景的所有场景体素图，并实时发送给对应的直属上级指挥场景；

所述用户端，用于定位用户在场景中的位姿，当用户同时进入多个场景时，需要分别计算用户在各场景坐标系下的位姿，接收场景实例发送过来的沉浸式体验画面，显示给用户看，当用户同时进入多个场景体验时，还需拼接合成场景体验画面，采集用户终端的互动操作信息，生成互动操作命令，发送给体验场景，当用户同时进入多个场景体验时，需把互动命令转换成用户互动所直接作用的场景坐标系下的互动命令，当用户对下属场景互动时，互动命令需要转换成下属场景坐标系的互动命令。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的面向多场景XR系统的沉浸式指挥中心构建方法的步骤。

本发明提出的一种面向多场景XR系统的沉浸式指挥中心构建方法，多场景XR系统里同时运行大量XR场景，通过构建多层级指挥体系，使得指挥人员可以进入不同层级的指挥场景，能沉浸式观看到所有下属场景的实时运行情况，能对所有下属场景进行精准指挥互动。

以下对本发明面向多场景XR系统的沉浸式指挥中心构建方法的实现原理进行详细阐述：

XR技术构建虚拟场景或虚实融合的场景，用户需要借助手机、头显等XR终端才能进入XR场景里，XR终端在场景里的位姿，决定了用户看到的场景画面，在本实施例中提及到的用户位姿就等价于终端的位姿。

体素是3D空间的像素，任意体素的值表征XR场景中一个三维区间的成像特征。本实施例中任意体素对应三维成像区间为场景中的一个长方体，长方体大小确定了体素的分辨率，长方体越大，体素分辨率越小。令体素图V中，任意体素对应的成像长方体大小为其中/>分别为此长方体的长宽高。体素图V中，坐标值为(i₀ i₁i₂)的任意体素用V(i₀ i₁ i₂)表示，其值为/>其中/>取值为0或1，取值为0表示此体素对应的成像长方体/>不包含任何物体表面，取值为1表示此体素对应的成像长方体包含物体表面；/>表示此体素对应的成像长方体包含物体表面的成像特性。

“场景”与“场景实例”是两个紧密相关的名词。场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是系统调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程，此程序进程实时计算场景内各对象状态，并渲染画面。单个场景同时有多个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给用户，这些场景实例之间同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景。同样，当单个场景实例被分配了多任务时，例如在为用户生成沉浸式体验画面时还需要实时生成体素图，如果此单个场景实例能获得的计算资源不能完成分配的多任务，就需要为此场景增加场景实例，增加的场景实例与原有的场景实例同步状态。在后文的实施例介绍时，为了简便不再提及场景实例的生成，默认系统会根据需要，为任意场景调配计算资源，自动生成合适数量的场景实例，满足任务需求。

用户体验空间坐标系。市面上主流的XR终端都自带定位功能，能自动在用户所处的环境建立坐标系，例如在用户所处环境地平面的垂直向上方向定义y轴的正方向，在地平面上定义x轴与z轴。用户体验空间坐标系就是XR终端自动建立的这个坐标系。

坐标系旋转缩放平移关系。在本发明实施例中，坐标系构建采用左手坐标系，在坐标系旋转关系中各轴旋转顺序为：z轴、x轴、y轴，其中y轴为水平面垂直轴，坐标系之间缩放采用三轴同比例缩放。令Ψ_D与Ψ为任意两坐标系，若限定Ψ_D与Ψ的旋转关系中只能绕y轴旋转，已知坐标系Ψ_D到Ψ旋转角度为平移量为/>缩放系数为λ，若任意物体在Ψ_D中坐标值为/>在Ψ中对应坐标值为(c_x c_y c_z)，则Ψ_D到Ψ坐标值转换关系可以表示为：

其中，为Ψ_D到Ψ坐标值变换矩阵。

令任意物体在Ψ_D中姿态角为在Ψ中对应姿态角值为(θ_x θ_y θ_z)，则Ψ_D到Ψ姿态角变换关系可以表示为：

其中，为Ψ_D到Ψ姿态角变换矩阵。

在本发明实施例中，场景内各对象状态会实时更新，为了简便，在下文介绍实施例具体步骤时默认场景会实时更新状态，不再反复提及，同时实施例将以面向生成人眼单目体验画面介绍构建方法，由面向人眼单目的方法很容易推导出面向人眼双目的方法。

本发明构建面向大型多场景XR系统的沉浸式指挥中心具体包括如下步骤。

步骤1.构建多级指挥场景

定义多级指挥层级体系，不同指挥层级之间，指挥权限不同，同一层级不同的指挥场景，指挥对象不同。例如定义一个学校按全校、院系、专业、班级分级的指挥体系，根据此指挥体系，需要构建1个“校级”指挥场景，多个“院系”指挥场景，更多的“专业”指挥场景，还有大量的“班级”指挥场景。可以为大型多场景XR系统定义多个并行的指挥体系，例如除了按全校、院系、专业、班级分级外，还可以定义一个按全校、校区、楼栋、教室分级的指挥体系，也给这个指挥体系下的各层级分别建立指挥场景。在构建各级指挥场景时，根据需求，定义各级指挥场景的指挥功能，并由此建立各指挥场景的命令集，以及各命令对应的响应。

多级指挥体系可以如图2所示。

令某大型多场景XR系统，其正在运行的XR体验场景集合为在这里称集合S⁰中所有场景为基层场景。为此XR系统构建包含M级指挥场景的指挥体系Φ。其中，第1级指挥场景的所有直属下级场景都是基层场景，令第1级指挥场景集合为/>第2级指挥场景的直属下级场景只能为第1级指挥场景或者基层场景，且直属下级场景中必须存在第1级指挥场景，令第2级指挥场景集合为依次类推，第k级指挥场景的直属下级场景只能是k-1级指挥场景以及低于k-1级的指挥场景或基层场景，且其直属下级场景必须有k-1级指挥场景，令第k级指挥场景集合为/>指挥层级从低到高，级数由小变大。对于指挥体系Φ中任意场景/>其直属下级场景组成的集合用/>表示，其直属上级场景组成的场景集合用/>表示。其中最高级指挥场景集合S^M中的场景只有直属下级指挥场景，而基层场景集合S⁰中的场景只有直属上级指挥场景。对于构建的任意指挥场景/>定义其指挥命令，其指挥命令集合用/>表示。

以图3为例，系统在构建指挥体系时，实例化了各层级的指挥场景，除了最高级的指挥场景，其它场景都可能需要同时给用户实时生成沉浸式体验画面以及实时生成场景数据给上级指挥场景，在本实施例中，实时生成的场景数据为场景体素图，当单个场景实例不能同时实现生成沉浸式体验画面与场景体素图时，系统需要生成单个场景的多个实例，在图3中，单个场景会有一个场景实例用来实时生成沉浸式体验画面，一个场景实例用来实时生成体素图，场景的两个实例之间需要保持通信同步场景状态。

步骤2.从低到高各级指挥场景加载其直属场景

具体包括如下步骤：

1)各基层场景实时生成体素图

设定基层场景三维成像区域以及体素图的分辨率，确定体素图各体素对应的基层场景成像三维区间，由对应成像三维区间的场景内容成像特征，实时确定各体素的值。具体实现如下：

①设定基层场景三维成像区域

在本发明实施例中，为了使基层场景能更紧凑的呈现在上级指挥场景，给每个基层场景都设定一个用于生成体素图的成像区域，只有在成像区域里的场景内容才生成体素。对于任意基层场景(其中k为指挥层级数，基层场景k为0)，设定专用于生成体素图的三维成像区间/>为/>定义体素图成像直角坐标系/>基层场景/>的直角坐标系为Ψ^k，j。其中，本实施例限定/>与Ψ^k，j坐标系旋转关系中，/>只能绕Ψ^k，j的水平面垂直轴y轴旋转，不能绕其它轴旋转。设定了/>到Ψ^k，j的旋转平移关系，就设定了场景/>需要生成体素的三维区间。设定坐标系/>到Ψ^k，j绕y轴旋转角度为/>缩放系数为1，平移量为根据式(1)可以得到/>到Ψ^k，j坐标值变换矩阵/>根据式(2)可得/>到Ψ^k，j姿态角变换矩阵/>②设定体素图分辨率

在本实施例中，场景的体素图用/>表示，任意体素/>对应成像长方体为/>成像长方体/>大小为/>其中/>分别为此长方体的长宽高，成像长方体大小定义了体素图的分辨率。

③计算各体素对应的三维成像区域

体素成像长方体/>中心点在体素图成像坐标系/>中坐标值为在/>中姿态角为(0 0 0)。由此，体素图/>中任意体素/>对应的成像长方体/>由/>到Ψ^k，j坐标值变换矩阵/>转换坐标值可计算得到/>中心点在场景/>坐标系Ψ^k，j下的坐标值，由/>到Ψ^k，j姿态角转换矩阵/>转换姿态角(00 0)可计算得到/>在Ψ^k，j中的姿态角。根据转换得到的/>在场景/>中的坐标值与姿态角，以及缩放系数1，就确定了/>覆盖场景/>里的三维区间，此三维区间就是体素/>在/>中的三维成像区间。

④由对应三维成像区间的成像特征确定各体素的值

实时遍历场景中所有物体的表面，如果没有物体表面与/>相交，则/>否则/>当/>时，需根据体素/>在/>中的三维区间的成像特征确定此体素的颜色值，本实施例中用与/>相交的物体表面任意点漫反射属性值或者所有相交物体表面漫反射属性平均值为此体素的颜色值。

体素图会实时更新，并实时发送给其直属上级场景。

2)设定各基层场景体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系

对于任意体素如果/>为0，则无需处理，如果/>为1，需要计算得到/>在其直属上级场景中对应的三维显示区间/>本实施例限定三维成像区间/>体素图成像直角坐标系/>到任意直属上级指挥场景/>坐标系/>旋转关系中，只能绕水平面垂直坐标轴旋转。

设定各基层场景体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系，具体为设定到/>绕水平面垂直方向旋转角度为β，缩放比例为λ，平移量为表示[p_x p_y p_z]，其中/>到任意直属上级指挥场景/>缩放是三个轴上等比例缩放。参照式(1)，则可获得/>到/>坐标值变换矩阵/>参照式(2)则可以获得/>到/>姿态角变换矩阵/>3)各基层场景体素图实时呈现到其直属上级场景，完成直属上级指挥场景对基层场景的加载

根据到/>坐标值变换矩阵/>转换体素/>成像长方体/>中心点在/>的位置/>得到体素/>在其直属上级场景/>显示区间长方体/>中心点在/>的坐标值。根据/>到/>姿态角变换矩阵/>转换/>在/>的姿态角(0 0 0)，可计算得到体素/>在场景/>显示区间长方体/>在/>的姿态角，/>长宽高为/>

对体素如果/>为1，在直属上级场景/>中部署一个位姿形状大小与/>完全一致的长方体，设定长方体颜色为/>按以上方法遍历所有体素，由此完成任意基层场景在其直属上级指挥场景里的加载。

指挥场景实时接收到任意直属下级场景的体素图时，需要在指挥场景内清除已加载的此直属下级场景的旧体素图，然后再加载新体素图。

4)由低到高，低级指挥场景依次被加载到高级指挥场景

由低到高，依照步骤1)、2)、3)，任意加载直属下级场景后的低级指挥场景生成体素图，在根据对应三维成像区域的成像特征确定各体素的值时，成像特征既包含指挥场景内虚拟物体的成像特征也包含加载的下级场景体素的体素值，生成的体素图发送给其直属上级指挥场景，设定体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系，体素图在直属上级指挥场景内呈现，完成直属上级指挥场景对低级指挥场景的加载。

步骤3.根据用户发送的场景进入指令，为用户生成进入单个场景或或同时进入多个场景进行指挥的沉浸式指挥体验

用户向系统发送场景进入指令，选择进入指挥场景或基层场景进行指挥。为用户生成沉浸式指挥体验的实现方式为：系统为用户分配选定场景的实例，用户终端与场景实例建立通信连接，用户终端发送定位、互动操作等信息给此场景实例，而场景实例据此为用户生成沉浸式体验画面，并发送到用户的终端显示给用户看。下面分别详细介绍为用户生成进入单个场景指挥的沉浸式指挥体验与为用户生成同时进入多个场景指挥的沉浸式指挥体验的实现方式。

为用户生成进入单个场景指挥的沉浸式指挥体验

用户在选定单个场景进行互动指挥操作，生成的互动命令分为两类，一类为作用于所处场景本身，一类是直接作用到直属下级场景里。所以，生成互动命令后，本步骤将先判断互动命令是作用于用户所处场景本身，还是作用于直属下级场景，当互动命令是作用于所处场景本身时，用户所处场景对互动命令进行响应；当互动命令是直接作用于直属下级场景时，用户所处场景不对此互动命令进行响应，把互动命令转换成对应直属下级场景的互动命令，把转换后的互动命令发送给对应直属下级指挥场景，直属下级场景对接收到的互动命令进行响应。

在本发明实施例中，互动命令包含位姿参数(坐标值与姿态角)，本发明实施例以互动命令的坐标值是否在直属下级场景体素图在用户所处场景的显示区间为判断条件，当互动命令里的坐标值不在任何直属下级场景体素图显示区间时，此互动命令作用于用户所处场景本身，否则当互动命令坐标值处于某个直属下级场景的体素图显示区间时，此互动命令将直接作用于此直属下级场景，互动命令需要转换并发送给此直属下级场景。

1)计算各直属下级场景在用户所在指挥场景的显示区间

对于任意用户p，在指挥场景进行指挥，场景/>坐标系为/> 有任意直属下级场景/>为/>指定的生成体素图的三维成像区间为/>在/>设定的体素图成像坐标系为 到/>绕水平面垂直方向y轴旋转角度为β，缩放比例为λ，平移量为[p_x p_y p_z]。依照式(1)与式(2)，可以得到/>到/>的坐标值变换矩阵/>姿态角变换矩阵/>用坐标值变换矩阵/>把三维成像区域/>中任意点在坐标系/>下位置坐标值，转换成场景/>坐标系下的/>坐标值，由此坐标值转换关系，可以转换得到场景/>三维成像区间/>在其直属上级指挥场景/>中的三维显示区域/>

2)判断用户互动指挥命令是否作用于直属下级场景

令用户p在场景进行互动指挥操作，生成互动命令a，其位姿参数中坐标值为W₀＝(w_x，0 w_y，0 w_z，0)、姿态角Q₀＝(θ′_x，0 θ′_y，0 θ′_z，0)。当W₀属于场景/>体素图在场景/>的三维显示区间/>时，判断出互动命令a直接作用于场景/>所在场景/>不对此互动命令进行响应，将进入步骤3)把互动命令a转换成场景/>的互动命令。否则，当W₀不属于/>的任何直属下级场景体素图的三维显示区间时，则互动命令a是作用于所在场景/>本身，场景/>直接对互动命令a进行响应，不需要进入步骤3)。

3)把互动指挥命令转换成对应直属下级场景的互动指挥命令

通过上面步骤1)，已知场景直属下级场景/>体素图成像坐标系/>到场景/>坐标系/>的坐标值变换矩阵为/>姿态角变换矩阵为/>则场景/>坐标系/>到直属下级场景/>体素图成像坐标系/>的坐标值变换矩阵为/>姿态角变换矩阵为/>进一步，已知在设定场景/>体素图成像坐标系/>时，设定了坐标系/>到场景/>坐标系Ψ^k，j的旋转角度为/>平移量为/>缩放系数为1，参考式(1)和式(2)，可得/>到Ψ^k，j坐标值变换矩阵/>姿态角转换矩阵/>由此，场景/>坐标系/>到直属下级场景/>坐标系Ψ^k，j的坐标值变换矩阵为/>姿态角变换矩阵为/>用坐标值变换矩阵/>把互动操作命令a位姿参数中的坐标值W₀＝(w_x，0 w_y，0 w_z，0)，转换成场景/>坐标系Ψ^k，j下的坐标值，用姿态角变换矩阵/>把互动操作命令a姿态角Q₀＝(θ′_x，0θ′_y，0 θ′_z，0)，转换成场景/>坐标系Ψ^k，j下的姿态角。把转换后的坐标值与姿态角赋值给互动命令a的位姿参数，完成互动命令a的转换。

4)对应直属下级场景接收并响应转换后的互动指挥命令

指挥场景把转换了位姿参数的互动命令a发送给场景/>场景/>响应此互动命令，完成用户在指挥场景/>对直属下级场景/>的互动。

为用户生成同时进入多个场景指挥的沉浸式指挥体验

用户可以选择同时进入多个场景进行指挥，用户进入的多个场景可以属于同一个多场景XR系统的不同指挥体系，也可以是同一指挥体系里同一层级的多个场景，还可以是不同层级的多个场景。当用户选择同时进入多个场景时，选定的这些场景都会分配实例给此用户，用户与这些场景实例都建立通信连接，计算用户在各场景的实时位姿，在计算出来的位姿下各场景都实时渲染用户的沉浸式体验画面，经过图像合成处理，为用户生成同时在多个场景指挥的沉浸式体验。用户选择要同时进入的多个场景后，系统为用户生成多个场景指挥的沉浸式体验具体实现步骤如下：

1)设定多个场景在用户体验空间的显示区间以及场景坐标系与用户体验空间坐标系的旋转缩放平移关系

如图5所示，用户p_i同时进入场景进行指挥，给其中任意场景s_k分配了用户体验空间的三维显示区间Ω_k，设定s_k坐标系到用户体验空间坐标系的旋转缩放平移关系，限定s_k坐标系到用户体验空间坐标系旋转关系中只能绕y轴旋转，具体旋转缩放平移关系为：绕y轴旋转角度为β_k，平移/>缩放系数为λ_k。由以上旋转缩放平移关系，参照式(1)可得场景s_k坐标系Ψ_k到用户体验空间坐标系/>的坐标值变换矩阵/>参照式(2)可得场景s_k坐标系Ψ_k到用户体验空间坐标系/>的姿态角变换矩阵/>

2)计算各场景的成像区间

的逆矩阵/>为用户体验空间坐标系/>到场景s_k坐标系Ψ_k的坐标值变换矩阵，对于用户体验空间里三维显示区间Ω_k中任意点，由/>转换得到其在场景s_k坐标系Ψ_k中对应坐标值，从而可以计算得到Ω_k在场景s_k对应的三维成像区间/>此三维成像区间/>只用于限定场景s_k为用户p_i生成沉浸式体验画面的场景内容，在为用户p_i生成沉浸式体验画面时，场景s_k在成像区间/>外的内容不成像。

3)计算用户在各场景坐标系下的位姿值

令任意时刻t_j，用户p_i在其体验空间的位姿为[W_j Q_j]，其中为坐标值，/>为姿态角值。对于任意场景s_k，/>的逆矩阵/>为用户体验空间坐标系/>到场景s_k坐标系Ψ_k的坐标值变换矩阵，而/>的逆矩阵/>为姿态角变换矩阵，由变换矩阵/>变换/>由变换矩阵/>变换把变换后的位姿值重新赋给位姿值/>可得用户在场景s_k坐标系Ψ_k中的位姿/>系统把/>传送到场景s_k。

4)各场景分别渲染用户位姿下的体验画面

对于任意场景s_k，用户p_i在其坐标系下实时位姿为在实时位姿下，渲染场景s_k成像区间/>的用户体验画面，以及计算此用户体验画面对应的深度图。在本发明实施例中各场景生成的用户沉浸式体验画面视角大小相同、分辨率相同。令s_k渲染后生成的体验画面用I^k，j表示，深度图像用D^k，j表示。体验画面与深度图像分辨率相同，对于任意体验画面像素I^k，j(x，y)，其在深度图像对应像素为D^k，j(x，y)。

5)拼接合成各场景体验画面生成用户多场景体验画面

接收各场景生成的体验画面与深度图片，把深度图片的深度值转换成用户体验空间下的深度值，并进一步根据转换后的深度值进行体验画面之间遮挡计算，由此合成得到用户的多场景指挥沉浸式体验画面。进行图像之间遮挡计算，只有在用户相同视线上的像素才会有遮挡关系，在本发明实施例中要求渲染生成所有体验图像和深度图像时采用相同大小的视场角与分辨率，所以具有相同图像坐标的像素点在用户相同视线上。合成得到用户的多场景指挥沉浸式体验画面具体如下：

各场景在时间t_j生成的用户p_i体验画面图像为对应深度图像/>其中任意体验画面图像I^k，j为s_k场景生成的，场景s_k坐标系到用户体验空间坐标系缩放系数为λ_k，由此I^k，j在用户体验空间对应深度图像为λ_kD^k，j。令合成后的图像为/>对应深度图像为/>首先初始化/>然后依次遍历对于其中任意图像I^k，j，遍历图像所有像素，对于任意像素I^k，j(x_m，y_m)，如果有/>则

依据上面计算方法，遍历完所有场景体验画面，最终计算得到的图像就是待求的用户的多场景指挥沉浸式体验画面。

6)互动指挥操作

用户在体验空间进行互动指挥操作，生成互动命令，判断此互动命令属于对哪个场景的互动，并把生成的互动命令转换成对应场景的互动命令，把转换后的互动命令发送给对应的场景，对应场景响应此互动命令。具体如下：

用户p_i在其体验空间进行互动操作，产生互动命令a，互动命令的坐标值参数为姿态角参数为/>遍历用户体验空间里的所有场景显示区间/>判断出坐标值为/>的点所在的显示区间，当/>在场景s_k的显示区间Ω_k时，则互动操作命令a作用于场景s_k，已知场景s_k坐标系Ψ_k到用户体验空间坐标系/>的旋转平移缩放关系为：绕y轴旋转角度为β_k，平移/>缩放系数为λ_k。参照式(1)和式(2)，得到场景s_k坐标系Ψk到用户体验空间坐标系/>的坐标值变换矩阵/>以及姿态角变换矩阵/>由坐标值变换矩阵/>变换/>由姿态角变换矩阵/>变换/>可得互动命令a在场景s_k坐标系Ψ_k下的坐标值与姿态角值，位姿参数转换后的互动命令a发送给场景s_k，s_k对此互动命令响应。

步骤4.用户跨层级指挥

用户进入指挥场景后，可以对直属下级场景进行指挥，还可以跨层级对更下级的场景进行互动，甚至可以跨越多个指挥层级，直接对基层场景里的体验人员个体进行指挥。跨层级指挥时，如果层级之间层层加载，场景加载的时延会累积，使指挥命令的互动实时性差。为了避免延时的累积，当用户跨层级指挥时，被指挥的场景体素图需要直传给用户所在的指挥场景，指挥场景直接加载此体素图。

以图4为例，指挥员1在2级指挥场景跨层级直接对基层场景3进行指挥，基层场景3的体素图不仅传输给1级指挥场景2，还直传给2级指挥场景1，从而避免了经过1级指挥场景带来的延时，保持了指挥互动的高实时性。

用户进入指挥场景进行指挥，场景/>为/>跨越多个层级的下级场景，/>的直属上级指挥场景用/>表示，/>的直属上级指挥场景用/>表示，依次类推。对于用户p，进入指挥场景/>跨层级对/>进行指挥的具体实现方式如下：

1)计算体素图在场景/>的直属下级场景/>体素图中显示区间

在本发明实施例中，设定各级场景用于生成体素图的成像区间，设定体素图成像坐标系到所在场景坐标系的旋转平移关系，设定体素图成像坐标系到直属上级指挥场景坐标系的旋转缩放平移关系，体素图依照此旋转缩放平移关系加载到直属上级指挥场景。由此根据以上设定的旋转缩放平移关系，已知中用于生成体素图的三维成像区域/>三维成像区域/>实时生成体素图/>参照式(1)与式(2)，可得/>体素图成像坐标系到场景/>坐标系ψ^k-n，j坐标值变换矩阵H^k-n以及姿态角变换矩阵R^k-n，H^k-n的逆矩阵(H^k-n)^-1为场景/>坐标系ψ^k-n，j到/>体素图成像坐标系/>的坐标值变换矩阵，(R^k-n)^-1为场景/>坐标系ψ^k-n，j到/>体素图成像坐标系/>的姿态角变换矩阵。体素图/>加载到/>的直属上级场景/>根据/>体素图成像坐标系/>到/>坐标系ψ^k-n+1，j旋转缩放平移关系，可得/>体素图成像坐标系/>到/>坐标系ψ^k-n+1，j坐标值变换矩阵/>以及姿态角变换矩阵/>同样，指挥场景/>生成体素图的三维成像区域为/>实时生成体素图/>场景/>坐标系ψ^k-n+1，j到/>体素图成像坐标系坐标值变换矩阵为(H^k-n+1)^-1，姿态角变换矩阵为(R^k-n+1)^-1，体素图/>加载到其直属上级场景/> 体素图成像坐标系/>到/>坐标系ψ^k-n+2，j坐标值变换矩阵为/>姿态角变换矩阵为/>依此类推。对/>体素图成像坐标系下任意点坐标值根据坐标变换矩阵/>变换就可以计算得到/>在体素图成像坐标系/>下的三维区间/>

2)场景实时加载直属下级场景体素图，但在加载/>的体素图/>时，/>中对区间/>成像的体素不加载

对于场景用于生成体素图的三维成像区域/>实时生成体素图/>对于中任意体素的成像区域，如果属于/>在/>体素图成像坐标系/>下的三维区间则此体素将不加载到场景/>的直属上级场景/>里。

3)计算体素图成像坐标系与场景/>坐标系的坐标值变换矩阵/>

根据设定的成像区域/>体素图成像坐标系/>到/>坐标系ψ^k，j的旋转平移缩放关系，可得/>到ψ^k，j的坐标值变换矩阵/>体素图成像坐标系/>到/>成像区域/>体素图成像坐标系/>的坐标值变换矩阵为由此可得/>体素图成像坐标系/>到场景坐标系ψ^k，j的坐标值变换矩阵/>

4)接收并加载/>的体素图。

到/>之间各层级之间的缩放尺寸累乘结果就是/>到/>体素图的缩放尺度。已知/>到/>体素图的缩放尺度以及坐标值变换矩阵/> 接收到/>的体素图/>后，依照步骤2加载体素图的方法加载体素图/>

5)在场景对/>进行指挥，生成互动命令，互动命令转换成场景/>的互动命令，转换后的互动命令直接发送给/> 对此命令进行响应。

用户p在场景对场景/>直接指挥，生成场景/>坐标系下得互动命令/> 包含位姿参数。/>坐标系ψ^k，j到/>坐标系ψ^k-n，j的坐标值变换矩阵为/>由此矩阵转换位姿参数中的坐标值，可得互动命令/>在/>坐标系ψ^k-n，j下的坐标值。/>坐标系ψ^k，j到/>坐标系ψ^k-n，j的姿态角变换矩阵为/>由此矩阵转换位姿参数中的姿态角，可得互动命令/>在/>坐标系ψ^k-n，j下的姿态角。把转换后的坐标值与姿态角赋值为互动命令/>的位姿参数，然后把转换后的互动命令/>发送给场景/>场景响应互动命令/>

本发明实施例提供进一步自适应跨层级指挥方法，用户选择指挥场景后，当用户进入或注视某跨层级的下属场景时，此下属场景的体素图直传用户选择的指挥场景，依照上面步骤实现用户跨层级指挥，当用户离开或不在注视此跨层级的下属场景时，此下属场景的体素图不再直传用户选择的指挥场景，释放掉此跨层级直传的通信与计算负荷。

本发明沉浸式指挥中心系统的硬件构成如图6所示，实现本发明面向大型多场景XR系统沉浸式指挥中心硬件系统主要包括云服务器集群、网络设备、以及XR终端。在云服务器集群中，服务器包括沉浸式指挥中心管理服务器、多台XR应用服务器、存储服务器以及流媒体服务器。XR应用服务器须具备高性能的图形渲染能力，服务器之间须互联互通，用户的XR终端通过网络访问管理服务器与所有XR应用服务器，XR终端可以为XR头盔、眼镜或手机等。

本发明沉浸式指挥中心系统的软件构成如图7所示，实现本发明面向大型多场景XR系统沉浸式指挥中心系统软件主要包括5个模块：沉浸式指挥中心服务端、XR应用库、用户端、XR应用服务端、流媒体服务端。沉浸式指挥中心服务端安装在沉浸式指挥中心管理服务器，XR应用库部署在存储服务器，用户端安装在用户的XR终端上，XR应用服务端安装在每台XR应用服务器上，流媒体服务端安装在流媒体服务器。下面介绍各模块的主要功能。

1、XR应用库：

XR资源库存储了预制的各级指挥场景模板，指挥场景模板里定义了指挥命令集及对应的各命令响应功能。

2、沉浸式指挥中心服务端：

功能包括：

(1)设定指挥层级体系，指令XR应用服务端从XR应用库调用各级指挥场景模板生成指挥场景。

(2)设定基层场景与指挥场景之间的从属关系，设定指挥场景之间的从属关系。

(3)设定各场景需要生成体素图的三维成像区间。

(4)设定各场景体素图成像坐标系与场景坐标系的旋转平移关系。

(5)设定各场景体素图成像坐标系到直属上级场景坐标系的旋转缩放平移关系。

(6)指令XR应用服务器为用户分配场景实例或分配场景实例用于生成体素图。

(7)指令下级场景向上级场景传输体素图，上级场景加载下级场景体素图。

3、XR应用服务端：

具体功能包括：

(1)接收沉浸式指挥中心服务端发送过来的指挥场景实例化指令，XR应用服务端将根据指令里生成指挥场景的模板I D，调用对应指挥场景模板，生成场景实例。

(2)接收沉浸式指挥中心服务端发送过来的场景实例分配指令，分配相应场景实例给用户或用于生成体素图，当现有场景实例没有充足的计算资源时，需要新生成此场景的实例，并且场景新实例与原来的场景实例同步状态。

(3)接收沉沉浸式指挥中心服务端发送过来的销毁指挥场景实例指令，销毁指挥场景实例。

4、用户端：

具体功能包括：

(1)定位用户在场景中的位姿，当用户同时进入多个场景时，需要分别计算用户在各场景坐标系下的位姿；

(2)接收场景实例发功过来的沉浸式体验画面，显示给用户看，当用户同时进入多个场景体验时，还需拼接合成场景体验画面；

(3)采集用户终端的互动操作信息，生成互动操作命令，发送给体验场景，当用户同时进入多个场景体验时，需把互动命令转换成用户互动所直接作用的场景坐标系下的互动命令，当用户对下属场景互动时，互动命令需要转换成下属场景坐标系的互动命令。

5、流媒体服务端

实时接收并汇总归属同一个直属上级指挥场景的所有场景体素图，并实时发送给对应的直属上级指挥场景。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，方案利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种面向多场景XR系统的沉浸式指挥中心构建方法，其特征在于，所述方法包括以下步骤：

步骤S10：构建多级指挥场景；

步骤S20:从低到高在各级指挥场景加载其直属场景；

步骤S30：根据用户发送的场景进入指令，为用户生成进入单个场景进行指挥或同时进入多个场景进行指挥的沉浸式指挥体验；

所述步骤S30中用户进入单个场景进行指挥包括：

计算各直属下级场景在用户所在指挥场景的显示区间；

判断用户指挥操作产生的互动命令是否直接作用于直属下级场景；

当互动命令不是直接作用于直属下级场景，用户所处场景响应此互动命令，否则把互动命令转换成对应直属下级场景的互动命令；

对应直属下级场景接收并响应转换后的互动命令；

所述步骤S30还可以为用户生成同时进入多个场景进行指挥的沉浸式指挥体验包括：

设定多个场景在用户体验空间的显示区间以及场景坐标系与用户体验空间坐标系的旋转缩放平移关系；

计算各场景的成像区间；

计算用户在各场景坐标系下的位姿值；

各场景分别渲染用户位姿下的体验画面；

拼接合成各场景体验画面生成用户多场景体验画面。

2.根据权利要求1所述的方法，其特征在于，所述步骤S10包括：

定义多级指挥层级体系，不同指挥层级之间，指挥权限不同，同一层级不同的指挥场景，指挥对象不同；以及定义各级指挥场景的指挥功能，并由此建立各指挥场景的命令集，以及各命令对应的响应。

3.根据权利要求1所述的方法，其特征在于，所述步骤S20包括：

在各基层场景实时生成体素图；

设定各基层场景体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系；

将各基层场景体素图按设定的体素图成像坐标系与其直属上级指挥场景坐标系的旋转缩放平移关系，实时呈现到其直属上级场景，完成直属上级指挥场景对基层场景的加载；

由低到高，将低级指挥场景依次加载到高级指挥场景。

4.根据权利要求3所述的方法，其特征在于，所述在各基层场景实时生成体素图包括：

设定基层场景三维成像区域以及体素图的分辨率；

确定体素图各体素对应的基层场景成像三维区间；

由对应成像三维区间的场景内容成像特征，实时确定各体素的值。

5.根据权利要求1所述的方法，其特征在于，所述步骤S30中用户同时进入多个场景进行指挥还包括：

设定多个场景在用户p_i体验空间显示区间及场景坐标系与用户p_i体验空间坐标系的旋转缩放平移关系；

计算各场景的成像区间；

计算用户p_i在各场景坐标系下的位姿值；

各场景分别渲染用户位姿下的体验画面，其中任意场景s_k生成体验画面图像I^k,j，对应深度图像为D^k,j；

拼接合成各场景体验画面生成用户p_i同时进入多场景指挥的体验画面，合成时需要根据各场景在用户p_i体验空间深度信息进行遮挡计算，其中任意场景s_k体验画面图像I^k,j对应深度图像为D^k,j，场景s_k坐标系用户p_i体验空间坐标系缩放系数为λ_k，由此I^k,j在用户体验空间对应深度图像为λ_kD^k,j；

用户在体验空间进行互动指挥，产生互动命令，判断互动命令作用于哪个场景，当判断出互动命令作用于场景s_k，则把互动命令的位姿参数转换到到场景s_k坐标系，把位姿参数转换后的互动命令发送给场景s_k，场景s_k响应此互动命令。

6.根据权利要求1-5任意一项所述方法，其特征在于，所述步骤S30后还有步骤S40：在选定的场景提供用户进行跨层级指挥，用户在任意指挥场景内，可以对跨越多个指挥层级的场景/>直接进行互动指挥。

7.根据权利要求6所述的方法，其特征在于，所述步骤S40中跨层级指挥中，用户进入指挥场景进行指挥，场景/>为/>跨越多个层级的下级场景，/>的直属上级指挥场景用表示，/>的直属上级指挥场景用/>表示，依次类推，用户p在指挥场景/>对/>进行跨场景指挥，具体实现包括：

计算体素图在场景/>的直属下级场景/>体素图成像坐标系下显示区间/>

场景实时加载直属下级场景体素图，但在加载/>的体素图/>时，/>中对区间成像的体素不加载；

计算体素图成像坐标系与场景/>坐标系的坐标值变换矩阵；

接收并加载/>的体素图；

在场景对/>进行指挥，生成互动命令，互动命令转换成场景/>的互动命令，转换后的互动命令直接发送给/> 对此命令进行响应。

8.一种面向多场景XR系统的沉浸式指挥中心构建系统，其特征在于，所述系统包括：沉浸式指挥中心管理服务器、多台XR应用服务器、存储服务器以及流媒体服务器，其中，用户的XR终端通过网络访问所述管理服务器与所有XR应用服务器，所述管理服务器部署有沉浸式指挥中心服务端，所述存储服务器部署有XR应用库，所述流媒体服务器安装有流媒体服务端，用户端安装在用户的XR终端上：

所述XR应用库，用于存储预制的各级指挥场景模板，指挥场景模板里定义了指挥命令集及对应的各命令响应功能；

所述沉浸式指挥中心服务端，用于设定指挥层级体系，从XR应用库调用各级指挥场景模板生成指挥场景，设定基层场景与指挥场景之间的从属关系，设定指挥场景之间的从属关系，设定各场景需要生成体素图的三维成像区间，设定各场景体素图成像坐标系与场景坐标系的旋转平移关系，设定各场景体素图成像坐标系到直属上级场景坐标系的旋转缩放平移关系，指令XR应用服务器为用户分配场景实例或分配场景实例用于生成体素图，令下级场景向上级场景传输体素图，上级场景加载下级场景体素图；

所述XR应用服务器，用于接收沉浸式指挥中心服务端发送过来的指挥场景实例化指令，XR应用服务端将根据指令里生成指挥场景的模板ID，调用对应指挥场景模板，生成虚拟场景实例，接收沉浸式指挥中心服务端发送过来的场景实例分配指令，分配相应场景实例给用户或用于生成体素图，当现有场景实例没有充足的计算资源时，需要新生成此场景的实例，并且场景新实例与原来的场景实例同步状态，接收沉沉浸式指挥中心服务端发送过来的销毁指挥场景实例指令，销毁指挥场景实例；

所述流媒体服务端，用于实时接收并汇总归属同一个直属上级指挥场景的所有场景体素图，并实时发送给对应的直属上级指挥场景；

所述用户端，用于定位用户在场景中的位姿，当用户同时进入多个场景时，需要分别计算用户在各场景坐标系下的位姿，接收场景实例发送过来的沉浸式体验画面，显示给用户看，当用户同时进入多个场景体验时，还需拼接合成场景体验画面，采集用户终端的互动操作信息，生成互动操作命令，发送给体验场景，当用户同时进入多个场景体验时，需把互动命令转换成用户互动所直接作用的场景坐标系下的互动命令，当用户对下属场景互动时，互动命令需要转换成下属场景坐标系的互动命令。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求1-7中任一项所述的面向多场景XR系统的沉浸式指挥中心构建方法的步骤。