CN115830199B - 基于xr技术的泛在实训校园构建方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种基于XR技术的泛在实训校园构建方法、系统及存储介质，该方法把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面，避免了单台常见的服务器远远无法满足此巨大计算资源需求的问题；此外该方法在进行实训场景之间遮挡处理时不需要深度信息，避免了实训场景体验画面对应深度图像的生成与传输，显著降低了计算资源与带宽的需求。而且基于本发明的泛在实训校园，可以进行多人协同、多人实训竞赛等多样化的实训教学活动。

Description

基于XR技术的泛在实训校园构建方法、系统及存储介质

技术领域

本发明涉及泛在虚拟实训校园构建技术领域，尤其涉及一种基于XR技术的泛在实训校园构建方法、系统及存储介质。

背景技术

虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术在解决职业教育实训中的看不见、摸不着、进不去等难题有重大价值。VR、AR、MR(以下简称XR，扩展现实)等技术相通相融。在5G网络、wifi6等高性能无线网络技术赋能下，XR移动终端(5G手机、头显等)所需的存储、计算、渲染等服务都可以放到云端。由此，基于云存储、云计算、云渲染等云服务，单个XR终端所能拥有的计算、存储、渲染能力可以无上限。

泛在虚拟实训校园可以充分利用校园空间，在真实校园的广场、教学楼大厅、运动场等开阔区域部署各学科大量实训场景，解决校园实训场地不足的问题，全校师生用XR终端随时随地可进入此泛在实训校园。在泛在实训校园，用户能直观看到周围其他师生的虚拟实训体验，用户可以进入虚拟实训场景进行虚拟实训，可以与他人进行虚拟实训协同或竞赛。泛在实训校园构建一个可容纳全校师生实训学习大协同的校园空间。

由于泛在实训校园同时部署大量高逼真的虚拟实训场景，为用户生成泛在实训校园的沉浸式体验所需计算资源巨大，因此，单台常见的服务器远远无法满足此巨大计算资源需求。

发明内容

本发明的主要目的在于提供一种基于XR技术的泛在实训校园构建方法、系统及存储介质，以缓解泛在实训校园构建中单台常见的服务器计算资源巨大的压力。

为实现上述目的，本发明提出一种基于XR技术的泛在实训校园构建方法，所述方法包括以下步骤：

步骤S10：在校园上部署虚拟实训场景；

步骤S20:根据用户位置，确定用户视野内的虚拟实训场景；

步骤S30:为用户分配虚拟实训场景实例；

步骤S40：基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；

步骤S50：由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；

步骤S60：用户通过XR终端获得泛在实训校园沉浸式体验。其中，所述步骤S10包括：

在校园里部署虚拟实训场景构建泛在实训校园，设定各虚拟实训场景里用于呈现到泛在实训校园的三维成像区间以及各虚拟实训场景在泛在实训校园中的部署位姿，其中部署位姿需要确保部署在泛在实训校园里的任意两虚拟实训场景之间存在分隔平面把它们在泛在实训校园的三维显示区间分隔在平面的两边，使任意两虚拟实训场景的三维显示区间单向遮挡；

所述步骤S20具体包括：对于任意用户h_k，根据其在泛在实训校园的实时位置，设定可视范围，统计出可视范围内虚拟实训场景集合；

所述步骤S30具体包括：用户h_k视野内的任意虚拟场景都分配场景实例给用户h_k；

所述步骤S40具体包括：根据用户h_k在泛在实训校园的实时位姿，以及视野内各虚拟实训场景坐标系与泛在实训校园坐标系的旋转平移关系，计算h_k在视野内各虚拟实训场景坐标系下的位姿值，h_k视野内各虚拟实训场景根据用户在其坐标系下的位姿，实时渲染沉浸式体验画面；

所述步骤S50具体包括：对于任意用户h_k，计算出其视野内任意两虚拟实训场景的三维显示区间之间的遮挡关系，从而确定虚拟实训场景沉浸式体验画面之间的遮挡关系，根据画面之间遮挡关系实时合成出用户h_k的泛在实训校园沉浸式体验画面。

所述步骤S60具体包括：任意用户h_k的XR终端实时显示泛在实训校园沉浸式体验画面给用户h_k看，使用户h_k获得泛在实训校园沉浸式体验。

所述步骤S10在真实校园上完成对泛在虚拟实训场景的部署后，还计算任意两个完成部署的虚拟实训场景所述三维显示区间的分隔平面，然后计算这个两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧，记录此分隔平面以及两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧的信息，所述步骤S50在进行画面合成时计算用户视野内任意两个虚拟实训场景沉浸式体验画面的遮挡关系方法为：

遍历用户视野内任意两个虚拟实训场景的组合，计算出用户相对于这两个虚拟实训场景三维显示区间分隔平面的位置，获取这两个虚拟实训场景的所述三维显示区间在所述分隔平面的位置，判断哪个虚拟实训场景的所述三维显示区间与用户同在所述分隔平面的同一侧，这两个虚拟实训场景三维显示区间如果在用户视线上存在遮挡，一定是与用户同在所述分隔平面一侧的虚拟实训场景遮挡另一侧的虚拟实训场景，由此计算出虚拟实训场景三维显示区间之间的遮挡关系，也就确定了对应的虚拟实训场景沉浸式体验画面之间的遮挡关系。

其中，所述步骤S60还包括：

任意用户h_k在泛在实训校园内，对任意虚拟实训场景s_m里的内容进行互动，生成泛在实训校园坐标系下的互动操作命令A，转换互动操作命令A为虚拟实训场景s_m坐标系下的互动操作命令，传输互动操作命令/>给虚拟实训场景s_m，虚拟实训场景s_m对互动操作命令响应。

其中，所述步骤S10具体还包括：

为待部署的任意虚拟实训场景选定三维凸区间包围盒；

设定包围盒在虚拟实训场景中的位姿，确定虚拟实训场景里需要在泛在实训校园呈现的三维成像区域；

在满足虚拟实训场景在泛在实训校园的三维显示区间不与其它虚拟实训场景三维显示区间相交且不超出校园可部署区域的约束下，设定包围盒在泛在实训校园内的位姿，确定所述虚拟实训场景在所述泛在实训校园内的三维显示区间。

其中，所述步骤S10还包括：

任意虚拟实训场景部署到泛在实训校园后，可动态调整三维凸区间包围盒在虚拟实训场景的位姿，从而动态调整虚拟实训场景里将呈现到泛在实训校园的成像区间。

其中，步骤S60后还包括步骤S70:建立虚拟实训场景之间的通信连接实现多人协同或竞赛,当进行多人竞赛时，对于任意参与竞赛的虚拟实训体验用户，参与竞赛的虚拟实训场景都会实时呈现在此用户的视场里,从而使竞赛用户能实时了解竞赛情况。

其中，步骤S70具体还包括如下步骤：

设定各虚拟实训场景在基准用户视场的第三视角三维显示区间，以及设定各虚拟实训场景到基准用户视场的旋转缩放平移关系；

计算基准用户在各虚拟实训场景坐标系下第三视角观看位姿；

各虚拟实训场景分别渲染基准观众第三视角观看位姿下的画面；

各虚拟实训场景第三视角画面传送给所有竞赛用户；

各虚拟实训场景第三视角画面与用户虚拟实训体验画面合成。

本发明还提出一种基于XR技术的泛在实训校园构建系统，所述系统的硬件包括云服务器集群、网络设备、以及XR终端，在云服务器集群中，服务器包括泛在实训校园管理服务器、多台XR应用服务器、存储服务器、流媒体服务器，所述系统的软件包括泛在实训校园管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端，泛在实训校园管理控制中心安装在泛在实训校园管理服务器上，XR资源库部署在存储服务器，用户端安装在用户的XR终端上，XR应用服务端安装在每台XR应用服务器上，其中：

所述XR资源库，用于存储XR应用资源；

所述泛在实训校园管理控制中心，用于在泛在实训校园上部署虚拟实训场景，根据用户位姿，确定用户视野内的虚拟实训场景，指令XR应用服务端为用户分配虚拟实训场景实例，设定需要异地多人协同的虚拟实训场景，协助各虚拟实训场景建立通信连接，同步场景状态，以及，指令XR应用服务端分配参与竞赛的各虚拟实训场景用来生成第三视角画面的场景实例，并协助场景实例与流媒体服务器建立通信连接；

所述XR应用服务端，用于接收所述管理控制中心发送的分配虚拟实训场景实例指令，根据所述分配虚拟实训场景实例化指令中虚拟实训场景的场景ID，分配相应的虚拟实训场景实例，接收所述管理控制中心发送的销毁场景实例指令，根据所述销毁场景实例指令销毁对应的虚拟实训场景实例；

所述用户端，用于根据用户在泛在实训校园位置，与视野内的所有虚拟场景建立通信连接，采集用户XR终端的定位数据，转换成各虚拟实训场景的位姿，分别发送给视野内各虚拟实训场景,接收视野内各虚拟实训场景实例发送过来的沉浸式体验画面，进行合成后显示给用户看，采集用户终端的互动操作信息，生成互动操作命令，并把互动操作命令转换成用户所互动的虚拟实训场景坐标系下的互动操作命令，当用户参与多人实训竞赛时，与流媒体服务端建立通信连接，接收合成后的多场景实训竞赛第三视角画面，合成多场景实训竞赛第三视角画面与自己虚拟实操沉浸式体验画面，生成完整的多人实训竞赛画面。

所述流媒体服务端，用于实时接收并合成同一个实训竞赛里所有虚拟实训场景第三视角画面，并实时发送给所有参与此实训竞赛的用户端。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的基于XR技术的泛在实训校园构建方法的步骤。

本发明方案通过在校园上部署虚拟实训场景；根据用户位置，确定用户视野内的虚拟实训场景；为用户分配虚拟实训场景实例；基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；用户通过XR终端获得泛在实训校园沉浸式体验。本方案中，把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面，由此避免了单台常见的服务器远远无法满足此巨大计算资源需求的问题；此外在泛在实训校园沉浸式体验画面合成时，需要对虚拟实训场景体验画面进行遮挡计算，本发明设计的构建方法在进行实训场景之间遮挡处理时不需要深度信息，避免了实训场景体验画面对应深度图像的生成与传输，显著降低了计算资源与带宽的需求。而且基于本发明的泛在实训校园，可以进行多人协同、多人实训竞赛等多样化的实训教学活动。

本发明的构建方法同样可以用于建设泛在互动体验的社区、工厂、商场等。

附图说明

图1为本发明基于XR技术的泛在实训校园构建方法的流程示意图；

图2为本发明用户视场坐标系示意图；

图3为本发明凸区间与遮挡的单向性示意图；

图4为本发明在泛在实训校园部署虚拟实训场景的示意图；

图5为本发明设定虚拟场景需要显示到泛在实训校园的场景内容的示意图；

图6为本发明多人实训竞赛用户体验画面的示意图；

图7为本发明多人/多小组竞赛实现流程示意图；

图8为本发明泛在实训校园系统硬件构成示意图；

图9为本发明泛在实训校园系统软件构成示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1所示，本发明提出一种基于XR技术的泛在实训校园构建方法，所述方法包括以下步骤：

S10：在校园上部署虚拟实训场景；

S20：根据用户位置，确定用户视野内的虚拟实训场景；

S30：为用户分配虚拟实训场景实例；

S40：基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；

S50：由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；

S60：用户通过XR终端获得泛在实训校园沉浸式体验。

所述步骤S10包括：在校园里部署虚拟实训场景构建泛在实训校园，设定各虚拟实训场景里用于呈现到泛在实训校园的三维成像区间以及各虚拟实训场景在泛在实训校园中的部署位姿，其中部署位姿需要确保部署在泛在实训校园里的任意两虚拟实训场景之间存在分隔平面把它们在泛在实训校园里的三维显示区间分隔在平面的两边，使任意两虚拟实训场景的三维显示区间单向遮挡。

所述步骤S20具体包括：对于任意用户h_k，根据其在泛在实训校园的实时位置，设定可视范围，统计出可视范围内虚拟实训场景集合；

所述步骤S30具体包括：用户h_k视野内的任意虚拟场景都分配场景实例给用户h_k；

所述步骤S40具体包括：根据h_k在泛在实训校园的实时位姿，以及视野内各虚拟实训场景坐标系与泛在实训校园坐标系的旋转平移关系，计算h_k在视野内各虚拟实训场景坐标系下的位姿值，h_k视野内各虚拟实训场景根据用户在其坐标系下的位姿，实时渲染沉浸式体验画面；

所述步骤S50具体包括：对于任意用户h_k，计算出其视野内任意两虚拟实训场景的三维显示区间之间的遮挡关系，从而确定虚拟实训场景沉浸式体验画面之间的遮挡关系，根据所述画面之间的遮挡关系实时合成出用户h_k的泛在实训校园沉浸式体验画面；

所述步骤S60具体包括：任意用户h_k的XR终端实时显示泛在实训校园沉浸式体验画面给用户h_k看，使用户h_k获得泛在实训校园沉浸式体验。

所述步骤S10在真实校园上完成对泛在虚拟实训场景的部署后，还计算任意两个完成部署的虚拟实训场景所述三维显示区间的分隔平面，然后计算这个两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧，记录此分隔平面以及两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧的信息，所述步骤S50中在进行画面合成时计算用户视野内任意两个虚拟实训场景沉浸式体验画面的遮挡关系方法为：

遍历用户视野内任意两个虚拟实训场景的组合，计算出用户相对于这两个虚拟实训场景三维显示区间分隔平面的位置，获取这两个虚拟实训场景的所述三维显示区间在所述分隔平面的位置，判断哪个虚拟实训场景的所述三维显示区间与用户同在所述分隔平面的同一侧，这两个虚拟实训场景三维显示区间如果在用户视线上存在遮挡，一定是与用户同在所述分隔平面一侧的虚拟实训场景遮挡另一侧的虚拟实训场景，由此计算出虚拟实训场景三维显示区间之间的遮挡关系，也就确定了对应的虚拟实训场景沉浸式体验画面之间的遮挡关系。

所述步骤S60还包括：

任意用户h_k在泛在实训校园内，对任意虚拟实训场景s_m里的内容进行互动，生成泛在实训校园坐标系下的互动操作命令A，转换互动操作命令A为虚拟实训场景s_m坐标系下的互动操作命令，传输互动操作命令/>给虚拟实训场景s_m，虚拟实训场景s_m对互动操作命令响应。

所述步骤S10具体还包括：

为待部署的任意虚拟实训场景选定三维凸区间包围盒；

设定包围盒在虚拟实训场景中的位姿，确定虚拟实训场景里需要在泛在实训校园呈现的三维成像区域；

在满足虚拟实训场景在泛在实训校园的三维显示区间不与其它虚拟实训场景三维显示区间相交且不超出校园可部署区域的约束下，设定包围盒在泛在实训校园内的位姿，确定所述虚拟实训场景在所述泛在实训校园内的三维显示区间。

所述步骤S10还包括：

任意虚拟实训场景部署到泛在实训校园后，可动态调整三维凸区间包围盒在虚拟实训场景的位姿，从而动态调整虚拟实训场景里将呈现到泛在实训校园的成像区间。

步骤S60后还包括步骤S70:建立虚拟实训场景之间的通信连接实现多人协同或竞赛,当进行多人竞赛时，对于任意参与竞赛的虚拟实训体验用户，参与竞赛的虚拟实训场景都会实时呈现在此用户的视场里,从而使竞赛用户能实时了解竞赛情况。

步骤S70具体还包括如下步骤：

设定各虚拟实训场景在基准用户视场的第三视角三维显示区间，以及设定各虚拟实训场景到基准用户视场的旋转缩放平移关系；

计算基准用户在各虚拟实训场景坐标系下第三视角观看位姿；

各虚拟实训场景分别渲染基准观众第三视角观看位姿下的画面；

各虚拟实训场景第三视角画面传送给所有竞赛用户；

各虚拟实训场景第三视角画面与用户虚拟实训体验画面合成。

其中，所述为用户分配虚拟实训场景实例的步骤中包括：

单个场景可能有多个场景实例，对于任意用户，其视野内所有虚拟实训场景都需要分配一个实例给此用户，当用户视野内的虚拟实训场景的已有的场景实例已都在被使用，且所述已有的场景实例剩余的计算资源不能为该用户生成沉浸式体验画面时，为所述虚拟实训场景生成一个新的场景实例，新生成的场景实例与原有的场景实例同步场景状态。

其中，所述基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面的步骤包括：

对于任意用户，计算此用户在其视野内的各虚拟实训场景坐标系下的位姿；

基于分配的各虚拟实训场景实例，各虚拟实训场景在用户对应位姿下渲染沉浸式体验画面。

其中，所述由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面的步骤包括：

根据XR终端的当前位姿，计算用户视野内任意两虚拟实训场景在泛在实训校园三维显示区间之间的遮挡关系；

根据所述遮挡关系，将各虚拟实训场景的沉浸式体验画面合成得到用户的泛在实训校园沉浸式体验画面。

本方案中，把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面，由此避免了单台常见的服务器远远无法满足此巨大计算资源需求的问题。

进一步地，所述方法还包括：

在用户进行实训体验过程中，根据体验进程，可动态调整三维凸区间包围盒在虚拟实训场景的位姿，从而动态调整虚拟实训场景里将呈现到泛在实训校园的成像区间。

本发明还提出一种基于XR技术的泛在实训校园构建系统，所述系统硬件包括云服务器集群、网络设备、以及XR终端，在云服务器集群中，服务器包括泛在实训校园管理服务器、多台XR应用服务器、存储服务器、流媒体服务器，所述系统软件包括泛在实训校园管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端，泛在实训校园管理控制中心安装在泛在实训校园管理服务器上，XR资源库部署在存储服务器，用户端安装在用户的XR终端上，XR应用服务端安装在每台XR应用服务器上，其中：

所述XR资源库，用于存储XR应用资源；

所述泛在实训校园管理控制中心，用于在泛在实训校园上部署虚拟实训场景，根据用户位姿，确定用户视野内的虚拟实训场景，指令XR应用服务端为用户分配虚拟实训场景实例，设定需要多人协同的虚拟实训场景，协助各虚拟实训场景建立通信连接，同步场景状态，以及，指令XR应用服务端分配参与竞赛的各虚拟实训场景用来生成第三视角画面的场景实例，并协助各场景实例与流媒体服务器建立通信连接；

所述XR应用服务端，用于接收所述管理控制中心发送的分配虚拟实训场景实例指令，根据所述分配虚拟实训场景实例指令中虚拟实训场景的场景ID，分配相应的虚拟实训场景实例，接收所述管理控制中心发送的销毁场景实例指令，根据所述销毁场景实例指令销毁对应的虚拟实训场景实例；

所述用户端，用于根据用户在泛在实训校园位置，与视野内的所有虚拟场景建立通信连接，采集用户XR终端的定位数据，转换成各虚拟实训场景的位姿，分别发送给视野内各虚拟实训场景,接收视野内各虚拟实训场景实例发送过来的沉浸式体验画面，进行合成后显示给用户看，采集用户终端的互动操作信息，生成互动操作命令，并把互动操作命令转换成用户所互动的虚拟实训场景坐标系下的互动操作命令，当用户参与多人实训竞赛时，与流媒体服务端建立通信连接，接收合成后的多场景实训竞赛第三视角画面，合成多场景实训竞赛第三视角画面与自己虚拟实操沉浸式体验画面，生成完整的多人实训竞赛画面。

所述流媒体服务端，用于实时接收并合成同一个实训竞赛里所有虚拟实训场景第三视角画面，并实时发送给所有参与此实训竞赛的用户端。

本发明方案通过在真实校园上部署虚拟实训场景；根据用户位姿，确定用户视野内的虚拟实训场景；为用户分配虚拟实训场景实例；基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；用户通过XR终端获得泛在实训校园沉浸式体验；建立各虚拟实训场景之间的通信连接，以实现多人协同或竞赛。本方案中，把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面，由此避免了单台常见的服务器远远无法满足此巨大计算资源需求的问题；此外在泛在实训校园沉浸式体验画面合成时，需要对虚拟实训场景体验画面进行遮挡计算，本发明设计的构建方法在进行实训场景之间遮挡处理时不需要深度信息，避免了实训场景体验画面对应深度图像的生成与传输，显著降低了计算资源与带宽的需求。而且基于本发明的泛在实训校园，可以进行多人协同、多人实训竞赛等多样化的实训教学活动。

本发明的构建方法同样可以用于建设泛在互动体验的社区、工厂、商场等。

相比现有技术，本发明构建的泛在虚拟实训校园，充分利用校园空间，在真实校园的广场、教学楼大厅、运动场等开阔区域部署各学科大量虚拟实训场景，解决校园实训场地不足的问题，全校师生用XR终端随时随地可进入此泛在实训校园。在泛在实训校园，用户能直观看到周围其他师生的虚拟实训体验，用户可以进入虚拟实训场景进行虚拟实训，可以与他人进行虚拟实训协同或竞赛。泛在实训校园构建一个可容纳全校师生实训学习大协同的校园空间。

泛在实训校园可同时部署大量高逼真的虚拟实训场景，所需计算资源巨大，单台常见的服务器远远无法满足此巨大计算资源需求。本发明方案中，设计的构建方法，把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面。在泛在实训校园沉浸式体验画面合成时，需要对虚拟实训场景体验画面进行遮挡计算，本发明设计的构建方法在进行实训场景之间遮挡处理时不需要深度信息，避免了实训场景体验画面对应深度图像的生成与传输，显著降低了计算资源与带宽的需求。基于本发明的泛在实训校园，可以进行多人协同、多人实训竞赛等多样化的实训教学活动。

本发明的构建方法同样可以用于建设泛在互动体验的社区、工厂、商场等。

以下对本发明基于XR技术构建泛在实训校园的方案进行详细阐述：

1、本发明方案涉及的技术术语包括：

XR技术构建虚拟场景或虚实融合的场景，用户需要借助手机、头显等XR终端才能进入XR场景里，XR终端在场景里的位姿，决定了用户看到的场景画面，在后文中，提及到的用户位姿就等价于XR终端的位姿。

“场景”与“场景实例”是两个紧密相关的名词。场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是系统调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程，此程序进程实时计算场景内各对象状态，并渲染画面。单个场景同时有多个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给用户，这些场景实例之间同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景。

用户视场坐标系是在人眼视场定义的坐标，例如：在人眼双目光心连线上双目光心之间的中点作为坐标系的原点，人眼双目连线从左眼到右眼方向定义为x轴正方向，注意力方向定义为z轴正方向，以与x轴与z轴垂直并满足左手坐标系要求定义y轴正方向，用户视场坐标系可以如图2所示。

2、凸区间与遮挡的单向性

令为三维凸区间，则有如下性质：令/>中有a、b两点，其中a点坐标为b点坐标为/>c点在a、b两点的连线上且在a、b两点之间,c点坐标可以表示为/>其中1＞λ＞0，则c点必然也属于/>

当两个三维凸区间不相交时，令这两个凸区间分别称为区间A与区间B，则区间A与区间B单向遮挡，具体为：当在用户视线上区间A遮挡区间B时，则A一定不会同时被B遮挡，当由于用户的移动以及视角的变化，改为在用户视线上区间B遮挡区间A，则此时区间B一定不会同时被区间A遮挡，也就是不会出现A有部分区域被B遮挡同时A又有部分区域遮挡区间B。在本发明中，我们称不相交的两个凸区间的这种性质为单向遮挡性。单向遮挡的两个凸区间的遮挡关系可以随用户的位姿变化发生逆转。对于区间A有部分区域被B遮挡同时A又有部分区域遮挡区间B的情况，我们称之为双向遮挡。

两个不相交的三维凸区间，必能找到一个分隔平面，把这两个三维凸区间分隔在两边，当用户在分隔平面的一边移动时，如果两个三维凸区间有遮挡发生，两个凸区间的遮挡关系不会发生变换，只有跨越分隔平面才会发生遮挡关系的逆转。

如图3所示，以平面凸区间为例，在图3中，四边形A与五边形B都是凸区间，A与B不相交，直线L把A与B分隔在两边，当用户在分隔线L的左边任何位置时，在用户视线上，如果A和B发生遮挡，必然是A遮挡B,且不发生B同时对A遮挡的情况，反过来当用户在分割线L的右边任何位置时，在用户视线上，如果A和B发生遮挡，必然是B遮挡A,且不发生同时A遮挡B的情况。

3.构建方法介绍

为了简便，后文以生成单目的沉浸式体验画面介绍构建方法，参照此方法很容易就得到生成双目沉浸式立体体验画面的构建方法。在本发明实施例中，坐标系构建采用左手坐标系，在坐标系旋转关系中各轴旋转顺序为：z轴、x轴、y轴。泛在实训校园构建方法具体有如下步骤。

步骤1.在校园里部署虚拟实训场景。

校园可以是纯虚拟的校园大场景，也可以是虚实一体校园大场景。在本发明实施例中，在真实校园内开阔安全的区域，部署虚拟实训场景，构建虚实一体的泛在实训校园大场景。在真实校园定义坐标系，把真实校园上定义的这个坐标系作为泛在实训校园的坐标系，在泛在实训校园部署虚拟实训场景，设定这些虚拟实训场景在泛在实训校园坐标系中的位姿(位置与姿态角)参数。

部署虚拟实训场景到泛在实训校园时，可以把虚拟实训场景所有内容都呈现到泛在虚拟实训校园内；也可以为了节省校园空间，只把虚拟实训场景部分内容呈现在泛在实训校园，在用户进行实训体验过程中，根据体验进程，可再动态调整虚拟实训场景呈现到泛在实训校园的内容。为虚拟实训场景，选择三维凸区间包围盒，通过设定三维凸区间包围盒在虚拟实训场景中的位姿，框选出将呈现在泛在实训校园的场景三维区间，此框选出的的场景三维区间就是此虚拟实训场景里将呈现到泛在实训校园的三维成像区间，设定三维凸区间包围盒在泛在实训校园的位姿，就确定了此虚拟实训场景在泛在实训校园里的三维显示区间。

以图4为例，在真实校园坐标系下部署了虚拟实训场景A、B、C、D，每个虚拟实训场景在泛在实训校园里有对应的三维显示区间。

实现过程具体如下：

1)为虚拟实训场景选定三维凸区间包围盒

令真实校园坐标系用Ψ_campus表示，待部署在泛在实训校园的虚拟实训场景有对于任意虚拟实训场景s_m，其直角坐标系用Ψ_m表示，给虚拟实训场景s_m选定三维凸区间包围盒Ω′_m。

2)设定包围盒在虚拟实训场景中的位姿，确定场景里将呈现到泛在实训校园的三维成像区间

为Ω′_m定义坐标系Ψ′_m，而Ψ_m为虚拟实训场景s_m的坐标系。设定Ω′_m在s_m中的位姿，也就是设定坐标系Ψ′_m到Ψ_m的旋转平移关系。在本发明实施例中限定在Ψ′_m与Ψ_m的旋转关系中，Ψ′_m只能绕Ψ_m的y轴旋转，令Ψ′_m到Ψ_m旋转平移关系中的旋转量可以表示为平移量为/>令坐标系Ψ′_m中任意点/>在坐标系Ψ_m中坐标值用(c_xc_yc_z)表示，本发明实施例采用左手坐标系，则Ψ′_m到Ψ_m的坐标值变换关系如下：

令Ψ′_m中任意旋转角度值(γ_xγ_yγ_z)在Ψ_m中对应角度值用(γ_x′γ_y′γ_z′)表示，在本发明实施例中坐标轴旋转顺序为z轴、x轴、y轴，则Ψ′_m到Ψ_m旋转角度值转换关系可以表示为：

对于三维凸区间包围盒Ω′_m中任意点,把其在坐标系Ψ′_m下的坐标值代入式(1)计算得到其在Ψ_m中的坐标值，由此确定了Ω′_m在s_m中框定的三维成像区间Ω_m。以图5为例，选定一个圆柱体为包围盒，设定此圆柱体到虚拟场景里的位姿，从而框选出虚拟场景里需要呈现到泛在实训校园的三维成像区间。

3)设定包围盒在泛在实训校园内的位姿，确定虚拟实训场景在校园内的三维显示区间

设定三维凸区间包围盒Ω′_m在泛在实训校园内的位姿，也就是确定三维凸区间包围盒Ω′_m坐标系Ψ′_m到泛在实训校园坐标系Ψ_campus的位姿。在Ψ′_m与Ψ_campus的旋转关系中，本发明实施例限定Ψ′_m只能绕Ψ_campus的y轴旋转，令Ψ′_m到Ψ_campus旋转平移关系中的旋转量可以表示为β^m、平移量为令坐标系Ψ′_m中任意点/>在坐标系Ψ_m中坐标值用(w_xw_yw_z)表示，则Ψ′_m到Ψ_campus的坐标值变换关系如下：

Ψ_campus到Ψ′_m的坐标值变换关系如下：

令Ψ′_m中任意旋转角度值(γ_xγ_yγ_z)在Ψ_campus中对应角度值用(ω_xω_yω_z)表示，则Ψ′_m到Ψ_campus旋转角度值转换关系可以表示为：

Ψ_campus到Ψ′_m旋转角度值转换关系可以表示为：

对于三维凸区间包围盒Ω′_m中任意点,把其在坐标系Ψ′_m下的坐标值代入式(3)计算得到其在Ψ_campus中的坐标值，由此确定场景s_m在泛在实训校园里对应的三维显示区间在用户对s_m沉浸式体验进程，只调整三维凸区间包围盒Ω′_m在场景s_m中的位姿，就可动态调整虚拟实训场景呈现到泛在实训校园的内容，且不改变s_m在泛在实训校园内的三维显示区间。在设定各虚拟实训场景三维凸区间包围盒在泛在实训校园内的位姿时，须确保各虚拟实训校园的显示区间不相交，使显示区间之间单向遮挡。为此，给出一种简单的虚拟实训场景自动部署方法，确保任意两个虚拟实训场景显示区间不相交同时也尽可能使部署更紧凑、更有效利用校园空间。

任意虚拟实训场景s_m部署到泛在实训校园有四个未知数，分别是三个平移量与一个旋转角度β^m，其中/>决定了虚拟实训场景s_m在泛在实训校园中的高度，不能随意定，需要预先设定。在设定/>后，本发明通过如下方法自动确定待部署虚拟实训场景的/>与β^m。

有虚拟实训场景集合需要部署校园某安全空旷的区域，该校园区域垂直映射到水平面上得到平面区间为Φ，按照一定的间距，Φ离散化出一个可部署位置点序列/>序列P中，各元素按照在Φ中从左到右、从上到下的位置关系排序。为了简便，虚拟实训场景可部署的绕y轴的旋转角度也离散化成一个角度序列虚拟实训场景集合S中的场景依序部署到Φ中，当s₁、s₂、…、s_m-1已完成部署时，就轮到部署s_m，依次遍历P中各可部署位置点以及Θ中各可部署角度，找到的第一个满足s_m在泛在实训校园的三维显示区间与其它已部署虚拟实训场景三维显示区间不相交且不超出Φ边界的位置点与角度组合，就是s_m的三维凸区间包围盒Ω′_m部署到泛在实训校园的/>与β^m。由于Φ空间有限，最终可能部分虚拟实训场景没有部署空间，令实际完成部署的虚拟实训场景集合为/>

4)寻找任意两虚拟实训场景之间的分隔平面

对于完成部署的虚拟实训场景集合中任意两个虚拟实训场景s_m与s_q，两个场景在泛在实训校园的三维显示区间分别为/>与/>其中场景编号值m＜q，寻找/>与/>之间的分隔平面。能把/>的所有边界点与/>所有边界点分隔的平面就是/>与/>的分隔平面。如果凸区间包围盒是多面体，则边界点只需挑选三维显示区间的顶点就可以，否则按照一定的间距，离散化边界，获得离散边界点集合，令得到/>的边界点集合为边界点集合为/>支持向量机(Support Vector Machine,SVM)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier)，其决策边界是对学习样本求解的最大边距超平面(maximum-marginhyperplane)。因此使用支持向量机计算工具就可以找到一个/>与/>之间的分隔平面/>具体计算过程请参考支持向量机文献。构建一个大小为n₄×n₄的矩阵E，n₄为实际完成部署的虚拟实训场景数量。如果中有任意点的位置坐标代入/>有/>则E(m,q)＝1；否则如果/>中有任意点的位置坐标代入/>有则E(m,q)＝-1，由此确定并记录s_m与s_q三维显示区间相对于分隔面的位置关系。

步骤2.根据用户位置，确定用户视野内的虚拟实训场景

根据XR终端定位数据，得到用户在泛在实训校园的位置，设定用户可视范围，统计出用户可视范围内的虚拟实训场景集合。

令任意用户h_k，在任意时间t_j，在校园内的位置为(p_x,jp_y,jp_z,j)，设定其视野为Γ_k,j，遍历中的虚拟实训场景，任意场景s_m在泛在实训校园的显示区间/>与视野Γ_k,j有相交，则s_m在用户的视野内，须显示给用户h_k看。遍历后，用户视野内的虚拟实训场景集合为/>

步骤3.为用户分配虚拟实训场景实例

对于用户h_k视野内的任意虚拟实训场景s_m，都需要分配一个场景实例给用户，用户生成h_k对此虚拟实训场景的沉浸式体验。当s_m的已有的场景实例已经都在被使用，场景实例剩余的计算资源不能为h_k生成沉浸式体验时，就需要系统新生成一个s_m的场景实例，新生成的场景实例要与场景s_m原有的实例同步场景状态。

步骤4.用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面

计算用户在视野内各虚拟实训场景里的位姿，各虚拟实训场景在用户对应位姿下渲染用户的沉浸式体验画面。

已知任意用户h_k视野内的任意虚拟实训场景s_m，其三维凸区间包围盒为Ω′_m，在Ω′_m定义了坐标系Ψ′_m，Ψ′_m到泛在实训校园坐标系Ψ_campus的旋转量为绕y轴旋转β^m、平移量为Ψ_m为虚拟场景s_m的坐标系，Ψ′_m到Ψ_m旋转平移关系中的旋转量为绕y轴旋转/>平移量为/>

用户h_k，在时间t_j，在泛在实训校园内的位置为其中为坐标值，/>为姿态角，把/>代入式(4)可以计算得到用户h_k在场景s_m包围盒坐标系Ψ′_m中的位置/>代入式(1)，可以计算得到h_k在场景s_m坐标系Ψ_m中的位置/>代入式(6)可以计算得到用户h_k在场景s_m包围盒坐标系Ψ′_m中的姿态角/>把/>代入式(2)，可以计算得到h_k在场景s_m坐标系Ψ_m中的姿态角/>在据上面计算出的用户h_k在虚拟场景s_m的位姿下，虚拟实训实训场景s^m面向用户h_k渲染三维成像区间Ω^m的内容，非成像区间与空区域不渲染，则得到的图像，分为成像像素与非成像像素，其中成像像素有对场景成像区间内对象成像，非成像像素的像素值用特定值τ_null表示。

步骤5.由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面

根据用户终端当前位姿，计算用户视野内任意两场景在泛在实训校园三维显示区间之间的遮挡关系，根据此遮挡关系可确定各虚拟实训场景用户沉浸式体验画面之间的遮挡关系，由画面之间的遮挡关系进行沉浸式体验画面之间像素的遮挡计算，各虚拟实训场景的沉浸式体验画面合成得到用户的泛在实训校园沉浸式体验画面。

构建一个大小为n₄×n₄的矩阵E′，n₄为实际完成部署的虚拟实训场景数量。遍历用户h_k视野内的虚拟实训场景集合中任意两个虚拟实训场景的组合：s_m与s_q，其中m＜q，在步骤1已经计算出s_m与s_q分隔平面为/>用户h_k，在时间t_j，在泛在实训校园内的位姿为/>把/>的3个坐标值分量代入/>如果有/>检索步骤1生成的矩阵E，当E(m,q)为1，则用户h_k与s_m的三维显示区间在分隔面同一侧，如果在用户h_k视线上s_m与s_q存在遮挡，必然是s_m挡s_q，令E′(m,q)＝1；当E(m,q)的值为-1，则用户h_k与s_q的三维显示区间在分隔面同一侧，如果在用户h_k视线上s_m与s_q存在遮挡，必然是s_q挡s_m，令E′(m,q)＝-1。否则，如果有/>当E(m,q)为1，则用户h_k与s_q的三维显示区间在分隔面同一侧，如果在用户h_k视线上s_m与s_q存在遮挡，必然是s_q挡s_m，令E′(m,q)＝-1；当E(m,q)的值为-1，则用户h_k与s_m的三维显示区间在分隔面同一侧，如果在用户h_k视线上s_m与s_q存在遮挡，必然是s_m挡s_q，令E′(m,q)＝1。

各虚拟实训场景生成的沉浸式体验画面组成图片集合其中任意图像/>为场景/>在时间t_j为用户h_k生成的沉浸式体验画面。对于Φ中任意一组体验画面/>与/>其中m＜q，检索E′(m,q)，获得/>与/>的遮挡关系，当E′(m,q)为-1，则/>挡/>当E′(m,q)值为1，则/>挡/>多幅图像之间，在用户同一条视线上的像素之间才会存在遮挡关系。在本发明实施例中，各虚拟实训场景之间生成体验画面的视场角大小与分辨率完全一致，从而在用户同一条视线上的像素必然图像坐标值相同。

令合成后的图片为定义一个二维辅助矩阵Q，Q的行列数与图片/>的行列数相同，/>记录/>中像素值为Φ中哪幅图像的像素值，首先Q中所有元素清0，令/>如果/>则Q/>遍历Φ中所有其它图片，对于任意图片遍历其所有像素，如果/>当/>为0，则/>当需要检索Ε′确定场景/>在泛在实训校园三维显示区间与S_vm的三维显示区间之间的遮挡关系。若/>查询元素/>如果的值为1，不处理，若/>为-1，则若/>查询元素/>如果/>的值为-1，不处理，若/>为1，则当遍历完所有图像，遍历完图像的所有像素后，得到的图像进行最后一步处理，遍历/>所有像素，对于任意像素/>如果像素值为τ_null，则此像素值需要替换成背景图像，背景图像可以是纯色、天空或校园实景，由此得到的最终图片/>就是用户h_k在时间t_j的泛在实训校园沉浸式体验画面。

步骤6.用户通过XR终端获得泛在实训校园沉浸式体验

通过XR终端，为任意用户h_k生成的泛在实训校园沉浸式体验画面显示给用户h_k看时，h_k获得了泛在实训校园沉浸式体验。用户h_k在泛在实训校园内移动，走到任意虚拟实训场景s_m的显示区间/>时，用户h_k使用XR终端对s_m进行互动操作，生成泛在实训校园空间里的互动操作命令，互动操作命令包含泛在实训校园坐标系下的位姿参数，位姿参数需要转换到虚拟实训场景s_m坐标系下，得到虚拟实训场景s_m里的互动操作命令，传输转换后的互动操作命令给实训场景s_m，虚拟实训场景s_m对互动操作命令进行响应。当虚拟实训场景s_m没有其它用户加入时，当前用户h_k就是单人实训，甚至用户可以锁定此实训场景，使此实训场景拒绝接收其它用户的互动操作信息；当此虚拟实训场景，有其他用户接入时，场景s_m内的所有用户的协同虚拟实训。

用户在泛在实训校园与虚拟实训场景s_m互动时，产生泛在实训校园坐标系Ψ_campus下的互动操作命令A，互动操作命令A包含位姿参数其中位置参数为坐标值姿态角参数为/>把/>代入式(4)，把代入式(6)可以计算得到互动操作命令A在凸包围盒坐标系Ψ′_m中的位姿值/>把/>代入式(1)，把/>代入式(2)，可以计算得到互动操作命令A在场景s_m坐标系Ψ_m中的位姿值/>把/>赋值给互动操作命令A的位姿参数分量，得到虚拟实训场景s_m坐标系Ψ_m下的互动操作命令/>发送/>给虚拟实训场景s_m，s_m响应此互动操作命令。

当用户h_k在虚拟实训场景s_m进行沉浸式互动体验时，可以选择脱离实训校园，完全进入虚拟实训场景s_m，此时s_m渲染给用户h_k的画面不受成像区间约束。

步骤7.建立虚拟实训场景之间的通信连接实现多人协同或竞赛

当相同实训内容分别在校园多个地点建立了虚拟实训场景时，这些虚拟实训场景之间可以进行多人协同实训或竞赛。当多个实训场景之间进行多人协同实训时，虚拟实训场景之间建立通信连接，同步场景状态。当多个实训场景之间进行多人实训竞赛时，虚拟实训场景之间不需要同步场景状态，但为了实时对比，这些虚拟实训场景之间需要互相看到实训情况。在本发明中，对于参与竞赛的任意虚拟实训体验用户，参与竞赛的虚拟实训场景都会通过缩放实时呈现在此用户的视场里。

令参与某虚拟实训竞赛的虚拟实训场景集合为S′中的任意虚拟实训场景的用户h_k′，其在场景s_k″中正常进行虚拟实操的同时可以看到S′中其它场景的实训情况。在本发明实施例中，从竞赛用户中挑选出任意一位用户，设定其视场为基准用户视场。给每个参与实训竞赛的虚拟实训场景在基准用户视场中指定一个第三视角三维显示区间，设定每个虚拟实训场景到基准用户视场中的旋转平移缩放关系，由此可以计算第三视角显示区间对应的虚拟实训场景用来生成第三视角画面的三维成像区域。

以图6为例，有虚拟实训场景A、B、C、D参与竞赛，在其中任意场景中进行实操体验的用户，在正常进行实操的同时，能看到参与竞赛的所有虚拟实训场景的第三视角画面。

如图7所示，具体实现过程如下。

(1)设定参与竞赛的各虚拟实训场景在基准用户视场的第三视角三维显示区间，以及设定各虚拟实训场景到基准用户视场的旋转缩放平移关系

本步骤包含正向设定方法与反向设定方法。在正向设定方法中，先设定各虚拟实训场景在基准用户视场中的第三视角三维显示区间，再设定各虚拟实训场景在基准用户视场中的旋转缩放平移关系，然后计算得到各虚拟实训场景用于生成第三视角画面的三维成像区间。在反向设定方法中，先设定各虚拟实训场景用于生成第三视角画面的三维成像区间，再设定各虚拟实训场景到基准用户视场中的旋转平移缩放关系，然后计算得到各虚拟实训场景在基准用户视场中的三维显示区间。正向设定方法具体实现又包括如下步骤：

1设定各虚拟实训场景在基准用户视场中的第三视角显示区间

在所有参与此虚拟实训竞赛的用户中，挑选其中一位用户h_k′为基准用户，定义此用户视场坐标系，令用户h_k′视场坐标系用表示，在/>中，给每个虚拟实训场景分配一个三维显示区间，分别为/>其中任意三维显示区间Γ_m对应的虚拟实训场景为s′_m。在给虚拟实训场景分配三维显示区间时，要求各三维显示区间不相交，而且各显示区间之间在用户视线上只可以单向遮挡或者不遮挡，注意由于各显示区间在用户视场坐标系中位姿是固定的，所以如果显示区间存在单向遮挡关系，则遮挡关系不会因为用户的移动发生逆转。单向遮挡关系用矩阵/>表示，/>大小为n₅×n₅，n₅为参与竞赛的虚拟实训场景数量，对于/>中任意元素/>如果Γ_m遮挡Γ_q，则/>否则，如果Γ_q遮挡Γ_m，则

2设定各虚拟实训场景到基准用户视场坐标系的旋转平移缩放关系

设定任意参与实训竞赛的虚拟实训场景s′_m直角坐标系Ψ′_m到用户h_k′视场坐标系的旋转平移缩放关系，Ψ′_m到/>的缩放是各轴同比例缩放。在本实施例中设定Ψ′_m到/>只能绕y轴旋转，旋转角度为β^m、平移量为/>缩放系数表示为λ^m。

到Ψ′_m坐标值变换关系如下：

到Ψ′_m旋转角度变换关系如下：

3计算各虚拟实训场景的三维成像区间

对于虚拟实训场景s′_m，其在用户h_k′视场坐标系下的第三视角三维显示区间Γ_m，Γ_m中任意点坐标值按式(7)映射到虚拟实训场景s′_m坐标系Ψ′_m下，就可以得到虚拟实训场景对应的s′_m成像区间此成像区间的设定只用于生成第三视角画面。在虚拟实训场景s′_m中进行沉浸式体验的用户，/>不限制这些用户对s′_m沉浸式体验画面生成。

参照正向设定的方法，很容易得到反向设定方法的具体实现。

(2)计算基准用户在各场景坐标系下第三视角观看位姿

h_k′在基准观众视场坐标系中，位置坐标为(000)，姿态角值为(0 0 0)，则此位置坐标代入式(7),把姿态角值代入式(8)可以计算得到h_k′在虚拟实训场景s′_m中的位姿系统把/>传送到场景s′_m的实例。(3)各虚拟实训场景分别渲染基准用户第三视角观看位姿下的画面

任意时刻t_j，在位姿视角下，渲染场景s′_m成像区间/>内的用户体验画面，在本发明实施例中，各场景生成的用户体验画面以及第三视角画面视角大小相同、分辨率相同，令场景s′_m渲染后生成的第三视角画面用I^m,j表示，则得到的图像像素，分为成像像素与非成像像素，其中非成像区域与空区域不渲染，非成像像素的像素值用特定颜色值τ_null表示。/>

(4)各虚拟实训场景第三视角画面传送给所有竞赛用户

收集场景集合生成的图片集合/>根据遮挡关系合并成一幅图像。生成的图像传输给参与实训竞赛的所有用户。

令合成后的图片为需要一个二维辅助矩阵/>的行列数与图片/>的行列数相同，/>记录/>中像素值为/>中哪幅图像的像素值，首先/>中所有元素清0，令如果/>则/>遍历所有其它图片，对于任意图片I^m,j，遍历其所有像素，如果/>当/>等于0，则/>当/>不等于0，需要检索/>确定/>与s′_m之间的遮挡关系，若/>不处理，若则/>遍历完/>中所有图像以及图像所有像素后，得到最终图像/>发送给参与实训竞赛的所有用户。

(5)各虚拟实训场景第三视角画面与用户虚拟实训体验画面合成

任意用户h_u在场景s_u′进行沉浸式体验，场景s_u′为h_u实时生成的沉浸式体验画面是用户h_u接收到各虚拟实训场景第三视画面/>与/>合成用户边虚拟实训边可观看竞赛场景第三视角画面的图像I″u_，遍历/>中所有像素，对于任意像素/>如果则/>否则/>或者采用透明系数δ，当/>则/>其中0＜δ＜1。

本发明上述方案实现涉及的系统硬件构成可以如图7所示：

实现本发明基于XR技术的泛在实训校园硬件系统主要包括云服务器集群、网络设备、以及XR终端。在云服务器集群中，服务器包括泛在实训校园管理服务器、多台XR应用服务器、存储服务器、流媒体服务器。XR应用服务器须具备高性能的图形渲染能力，服务器之间须互联互通，用户的XR终端通过无线网络访问管理服务器与所有XR应用服务器，XR终端可以为XR头盔或眼镜。

系统软件构成可以如图8所示：

实现本发明基于XR技术的泛在实训校园沉浸式系统软件主要包括4个模块:泛在实训校园管理控制中心、XR资源库、用户端、XR应用服务端。泛在实训校园管理控制中心安装在泛在实训校园管理服务器，XR资源库部署在存储服务器，用户端安装在用户的XR终端上，XR应用服务端安装在每台XR应用服务器上。下面介绍各模块的主要功能。

1、XR资源库：

XR资源库存储了XR应用程序、XR资源包等XR应用资源。

2、泛在实训校园管理控制中心：

安装在泛在实训校园管理服务器上，功能包括：

设定泛在实训校园需要部署的虚拟实训场景。

管理员在泛在实训校园管理控制中心选定各虚拟实训场景的三维凸区间包围盒。

人为设定或系统自动设定各虚拟实训场景内三维凸区间包围盒的位姿，确定各虚拟实训场景需要成像的区域。

人为设定各虚拟实训场景三维凸区间在泛在实训校园中的位姿，从而确定各虚拟实训场景在泛在实训校园中的显示区间。或者，管理控制中心自动部署虚拟实训场景到泛在实训校园。

当用户进入泛在实训校园时，实时计算用户视野内包含的虚拟实训场景，指令XR应用服务端为用户分配虚拟实训场景实例。

人为或系统设定需要多人协同的虚拟实训场景，协助这些虚拟实训场景建立通信连接，同步场景状态。

人为或系统设定需要多人实训竞赛的虚拟实训场景，设定各虚拟实训场景在用户视场坐标系下的第三视角三维显示区间，设定各虚拟实训场景到用户视场坐标系下的旋转平移缩放关系。

指令XR应用服务端分配参与竞赛的各虚拟实训场景用来生成第三视角画面的场景实例，并协助这些场景实例与流媒体服务端建立通信连接。

3、XR应用服务端：

具体功能包括：

接收泛在实训校园管理控制中心发送过来的分配虚拟场景实例指令，XR应用服务端将根据指令里虚拟场景的场景ID，分配相应的虚拟场景实例。

接收泛在实训校园管理控制中心发送过来的销毁场景实例指令，销毁虚拟场景实例。

4、用户端：

具体功能包括：

(1)根据用户在泛在实训校园位置，与视野内的所有虚拟场景建立通信连接；

(2)采集用户终端的定位数据，转换成各虚拟实训场景的位姿，分别发送给视野内各虚拟实训场景；

(3)接收视野内各虚拟实训场景实例发功过来的沉浸式体验画面，进行合成后显示给用户；

(4)采集用户终端的互动操作信息，生成互动操作命令，并把互动操作命令转换成用户所处虚拟实训场景的互动操作命令。

(5)当用户参与多人实训竞赛时，与流媒体服务端建立通信连接，接收合成后的多人实训竞赛第三视角画面。

(6)合成多人实训竞赛第三视角画面与自己虚拟实操沉浸式体验画面，生成完整的多人实训竞赛画面。

5、流媒体服务端

实时接收并合成同一个实训竞赛里的所有虚拟场景第三视角画面，并实时发送给所有参与此实训竞赛的用户端。

本发明方案通过在真实校园上部署虚拟实训场景；根据用户位姿，确定用户视野内的虚拟实训场景；为用户分配虚拟实训场景实例；基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；通过XR终端使用户获得泛在实训校园沉浸式体验，和建立各虚拟实训场景之间的通信连接，以实现多人协同或竞赛。本方案中，把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面，由此避免了单台常见的服务器远远无法满足此巨大计算资源需求的问题；此外在泛在实训校园沉浸式体验画面合成时，需要对虚拟实训场景体验画面进行遮挡计算，本发明设计的构建方法在进行实训场景之间遮挡处理时不需要深度信息，避免了实训场景体验画面对应深度图像的生成与传输，显著降低了计算资源与带宽的需求。而且基于本发明的泛在实训校园，可以进行多人协同、异地多人实训竞赛等多样化的实训教学活动。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于XR技术的泛在实训校园构建方法，其特征在于，所述方法包括以下步骤：

步骤S10：在校园里部署虚拟实训场景；

步骤S20:根据用户位置，确定用户视野内的虚拟实训场景；

步骤S30:为用户分配虚拟实训场景实例；

步骤S40：基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；

步骤S50：由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；

步骤S60：用户通过XR终端获得泛在实训校园沉浸式体验；

所述步骤S10包括：在校园里部署虚拟实训场景构建泛在实训校园，设定各虚拟实训场景里用于呈现到泛在实训校园的三维成像区间以及各虚拟实训场景在泛在实训校园中的部署位姿，其中部署位姿需要确保部署在泛在实训校园里的任意两虚拟实训场景之间存在分隔平面把它们在泛在实训校园的三维显示区间分隔在平面的两边，使任意两虚拟实训场景的三维显示区间单向遮挡；

所述步骤S20具体包括：对于任意用户h_k、根据其在泛在实训校园的实时位置，设定可视范围，统计出可视范围内虚拟实训场景集合；

所述步骤S30具体包括：用户h_k视野内的任意虚拟场景都分配场景实例给用户h_k；

所述步骤S40具体包括：根据用户h_k在泛在实训校园的实时位姿，以及视野内各虚拟实训场景坐标系与泛在实训校园坐标系的旋转平移关系，计算h_k在视野内各虚拟实训场景坐标系下的位姿值，h_k视野内各虚拟实训场景根据用户在其坐标系下的位姿，实时渲染沉浸式体验画面；

所述步骤S50具体包括：对于任意用户h_k，计算出其视野内任意两虚拟实训场景的三维显示区间之间的遮挡关系，从而确定虚拟实训场景沉浸式体验画面之间的遮挡关系，根据所述画面之间的遮挡关系实时合成出用户h_k的泛在实训校园沉浸式体验画面

所述步骤S60具体包括：任意用户h_k的XR终端实时显示泛在实训校园沉浸式体验画面给用户h_k看，使用户h_k获得泛在实训校园沉浸式体验。

2.根据权利要求1所述的方法，其特征在于，所述步骤S10在真实校园上完成对泛在虚拟实训场景的部署后，还计算任意两个完成部署的虚拟实训场景所述三维显示区间的分隔平面，然后计算这个两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧，记录此分隔平面以及两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧的信息，所述步骤S50在进行画面合成时计算用户视野内任意两个虚拟实训场景沉浸式体验画面的遮挡关系方法为：

遍历用户视野内任意两个虚拟实训场景的组合，计算出用户相对于这两个虚拟实训场景三维显示区间分隔平面的位置，获取这两个虚拟实训场景的所述三维显示区间在所述分隔平面的位置，判断哪个虚拟实训场景的所述三维显示区间与用户同在所述分隔平面的同一侧，这两个虚拟实训场景三维显示区间如果在用户视线上存在遮挡，一定是与用户同在所述分隔平面一侧的虚拟实训场景遮挡另一侧的虚拟实训场景，由此计算出虚拟实训场景三维显示区间之间的遮挡关系，也就确定了对应的虚拟实训场景沉浸式体验画面之间的遮挡关系。

3.根据权利要求2所述的方法，其特征在于，所述步骤S60还包括：任意用户h_k在泛在实训校园内，对任意虚拟实训场景s_m里的内容进行互动，生成泛在实训校园坐标系下的互动操作命令A，转换互动操作命令A为虚拟实训场景s_m坐标系下的互动操作命令传输互动操作命令/>给虚拟实训场景s_m，虚拟实训场景s_m对互动操作命令/>响应。

4.根据权利要求3所述的方法，其特征在于，所述步骤S10具体还包括：

为待部署的任意虚拟实训场景选定三维凸区间包围盒；

设定包围盒在虚拟实训场景中的位姿，确定虚拟实训场景里需要在泛在实训校园呈现的三维成像区间；

在满足虚拟实训场景在泛在实训校园的三维显示区间不与其它虚拟实训场景三维显示区间相交且不超出校园可部署区域的约束下，设定包围盒在泛在实训校园内的位姿，确定所述虚拟实训场景在所述泛在实训校园内的三维显示区间。

5.根据权利要求4所述的方法，其特征在于，所述步骤S10还包括：

任意虚拟实训场景部署到泛在实训校园后，可动态调整三维凸区间包围盒在虚拟实训场景的位姿，从而动态调整虚拟实训场景里将呈现到泛在实训校园的成像区间。

6.根据权利要求1-5中任一项所述的方法，其特征在于，步骤S60后还包括步骤S70:建立虚拟实训场景之间的通信连接实现多人协同或竞赛,当进行多人竞赛时，对于任意参与竞赛的虚拟实训体验用户，参与竞赛的虚拟实训场景都会实时呈现在此用户的视场里,从而使竞赛用户能实时了解竞赛情况。

7.根据权利要求6所述的方法，其特征在于，步骤S70具体还包括如下步骤：

设定参与竞赛的各虚拟实训场景在基准用户视场的第三视角三维显示区间，以及设定各虚拟实训场景到基准用户视场的旋转缩放平移关系；

计算基准用户在各虚拟实训场景坐标系下第三视角观看位姿；

各虚拟实训场景分别渲染基准观众第三视角观看位姿下的画面；

各虚拟实训场景第三视角画面传送给所有竞赛用户；

各虚拟实训场景第三视角画面与用户虚拟实训体验画面合成。

8.一种基于XR技术的泛在实训校园构建系统，其特征在于，所述系统的硬件包括云服务器集群、网络设备、以及XR终端，在云服务器集群中，服务器包括泛在实训校园管理服务器、多台XR应用服务器、存储服务器、流媒体服务器，所述系统的软件包括泛在实训校园管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端，泛在实训校园管理控制中心安装在泛在实训校园管理服务器上，XR资源库部署在存储服务器，用户端安装在用户的XR终端上，XR应用服务端安装在每台XR应用服务器上，其中：

所述XR资源库，用于存储XR应用资源；

所述泛在实训校园管理控制中心，用于在泛在实训校园上部署虚拟实训场景，根据用户位姿，确定用户视野内的虚拟实训场景，指令XR应用服务端为用户分配虚拟实训场景实例，设定需要多人协同的虚拟实训场景，协助各虚拟实训场景建立通信连接，同步场景状态，以及，指令XR应用服务端分配参与竞赛的各虚拟实训场景用来生成第三视角画面的场景实例，并协助场景实例与流媒体服务器建立通信连接；

所述XR应用服务端，用于接收所述管理控制中心发送的分配虚拟实训场景实例的指令，根据所述分配虚拟实训场景实例指令中虚拟实训场景的场景ID，分配相应的虚拟实训场景实例，接收所述管理控制中心发送的销毁场景实例指令，根据所述销毁场景实例指令销毁对应的虚拟实训场景实例；

所述用户端，用于根据用户在泛在实训校园位置，与视野内的所有虚拟场景建立通信连接，采集用户XR终端的定位数据，转换成各虚拟实训场景的位姿，分别发送给视野内各虚拟实训场景,接收视野内各虚拟实训场景实例发送过来的沉浸式体验画面，进行合成后显示给用户看，采集用户终端的互动操作信息，生成互动操作命令，并把互动操作命令转换成用户所互动的虚拟实训场景坐标系下的互动操作命令，当用户参与多人实训竞赛时，与流媒体服务端建立通信连接，接收合成后的多场景实训竞赛第三视角画面，合成多场景实训竞赛第三视角画面与自己虚拟实操沉浸式体验画面，生成完整的多人实训竞赛画面；

所述流媒体服务端，用于实时接收并合成同一个实训竞赛里所有虚拟实训场景第三视角画面，并实时发送给所有参与此实训竞赛的用户端。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求1-7中任一项所述的基于XR技术的泛在实训校园构建方法的步骤。