CN114998063B - 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质 - Google Patents

一种基于xr技术的沉浸式课堂构建方法、系统及存储介质 Download PDF

Info

Publication number
CN114998063B
CN114998063B CN202210427227.9A CN202210427227A CN114998063B CN 114998063 B CN114998063 B CN 114998063B CN 202210427227 A CN202210427227 A CN 202210427227A CN 114998063 B CN114998063 B CN 114998063B
Authority
CN
China
Prior art keywords
scene
classroom
teaching content
teaching
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210427227.9A
Other languages
English (en)
Other versions
CN114998063A (zh
Inventor
蔡铁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202210427227.9A priority Critical patent/CN114998063B/zh
Publication of CN114998063A publication Critical patent/CN114998063A/zh
Application granted granted Critical
Publication of CN114998063B publication Critical patent/CN114998063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于XR技术的沉浸式课堂构建方法、系统及介质，该方法包括以下步骤：配置沉浸式课堂；生成沉浸式课堂场景，并分配场景实例给师生；生成教学内容场景，并分配教学内容场景实例给师生；课堂场景加载教学内容场景；根据教学活动需求，师生进行场景切换。本发明构建的沉浸式课堂使得沉浸式教学可管可控。

Description

一种基于XR技术的沉浸式课堂构建方法、系统及存储介质
技术领域
本发明涉及基于XR技术的沉浸式课堂教学技术领域，特别涉及一种基于XR技术的沉浸式课堂构建方法、系统及存储介质。
背景技术
由于XR技术的技术能力，基于XR技术的沉浸式教学，将可以在职业教育提升学生职业实践能力中，发挥关键作用。然而把基于XR技术的沉浸式教学的潜力充分挖掘出来，有许多重要问题需要研究，其中，最核心的问题是基于XR技术如何构建沉浸式课堂。在教学活动中，课程知识所依赖的虚拟场景可能非常大，但教室空间有限，当给所有学生都同时提供虚拟教学场景时，如何构建课堂场景，如何使沉浸式课堂适配“学中做”、小组学习、学习竞赛等多样化的教学活动，如何使沉浸式教学活动可管可控成为一难题。
发明内容
本发明的主要目的在于提出一种基于XR技术的沉浸式课堂构建方法、系统及存储介质，旨在实现沉浸式教学可控可管。
为实现上述目的，本发明提供了一种基于XR技术的沉浸式课堂构建方法，其特征在于，所述方法包括以下步骤：
步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容；
步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；
步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；
步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；
步骤S50，根据师生切换场景指令，系统为师生切换体验场景：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换。
本发明进一步地技术方案是，所述步骤S50，还包括系统可以为任意师生生成同时进入多个场景的沉浸式体验，包括：同时进入教学内容场景与课堂场景，以及同时进入多个教学内容场景。
本发明进一步地技术方案是，所述步骤S40课堂场景加载教学内容场景后，师生可以在课堂场景直接与教学内容场景内的对象互动，在所述步骤S50，任意师生同时进入多个场景后，可以同时与这些场景内的对象进行互动。
本发明进一步地技术方案是，所述步骤S40，课堂场景加载教学内容场景的步骤包括：
步骤S401，课堂场景实例与教学内容场景实例建立通信连接；
步骤S402，教学内容场景实例实时生成体素图；
步骤S403，课堂场景实例实时接收教学内容场景体素图；
步骤S404，加载体素图到课堂场景；
步骤S405，获取课堂场景内对教学内容场景对象的互动命令，并把互动命令的位姿参数转换到教学内容场景坐标系下，位姿参数转换后的互动命令传输到教学内容场景。
本发明进一步地技术方案是，所述步骤S50，师生同时进入多个场景进行沉浸式体验，实现步骤包括：
步骤S501，设定各场景在用户体验空间的三维显示区间以及设定各场景坐标系到用户体验空间的旋转平移缩放关系；
步骤S502，计算各场景的成像区间；
步骤S503，计算师生在各场景中的位姿值；
步骤S504，生成各场景的用户体验画面；
步骤S505，拼接各场景用户体验画面生成师生多场景体验画面，在拼接过程中根据各场景体验画面深度信息，进行遮挡计算：
步骤S506，获取用户互动命令，根据互动命令的位姿参数，确定对应的互动操作所作用的场景，把所述互动命令的位姿参数转换到场景坐标下系，转换了位姿参数的互动命令传输给对应场景。
本发明进一步地技术方案是，所述S405获取课堂场景内对教学内容场景对象的互动命令，并把互动命令的位姿参数转换到教学内容场景坐标系下，位姿参数转换后的互动命令传输到教学内容场景具体为：
课堂场景实例监听到互动操作命令时，以互动操作信息位姿参数与教学内容场景体素图的显示区间的关系，判断所述互动操作命令是否为对教学内容场景的互动，以及与哪个教学内容场景互动，当所述互动操作命令是对教学内容场景Sm的互动，课堂场景实例把所述互动操作命令的位姿参数转换到教学内容场景Sm的坐标系下，转换成教学内容场景Sm的互动命令，并把转换后的互动命令发送到教学内容场景Sm的实例，教学内容场景Sm的实例接收到所述互动命令，对所述互动命令进行响应；
本发明进一步地技术方案是，所述步骤S401，每个教学内容场景必须有至少一个场景实例与所有课堂场景实例建立通信连接，从而确保任意师生可以在分配给其的课堂场景实例里看到所有教学内容场景；为了减少场景实例之间通信连接数量，教学内容场景实例与流媒体服务器采取流媒体服务器中继的方式建立通信连接，流媒体服务器与各课堂场景实例采取流媒体服务器中继的方式建立通信连接，流媒体服务器把各场景实例实时生成的体素图汇总到一起，然后发送给各课堂场景实例；每个师生用户被分配的课堂场景实例与教学内容场景实例建立可传送互动操作命令的通信连接，师生在课堂场景就可以与教学内容场景里的物体互动。
本发明进一步地技术方案是，所述步骤S10，配置的沉浸式教学内容具体包括教学内容的介绍信息，以及教学内容对应的XR应用程序，其中XR教学应用程序可以生成教学内容场景；所述步骤S20生成沉浸式课堂场景，并分配课堂场景实例给师生，具体步骤为：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间，创建课堂场景实例，课堂场景实例的数量须满足可以同时为所有师生提供课堂场景体验，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例；在所述步骤S50，师生在课堂场景与教学内容场景之间切换，实现方法为改变与师生的XR终端连接的场景实例，当体验课堂场景时，XR终端与课堂场景实例连接，接受课堂场景发送过来的体验画面，把互动操作传送给课堂场景实例，当要体验教学内容场景时，断开XR终端与课堂场景实例的连接，建立XR终端与教学内容场景实例之间的连接，XR终端接收教学内容场景实例生成的体验画面，向教学内容场景实例发送互动操作信息，教学内容场景实例生成体验画面过程不受给教学内容场景设定的三维成像区间限制，如果要切换回课堂场景，需要XR终端断开与教学内容场景实例的连接，重建与课堂场景实例的连接；步骤S50后还包括步骤S60：当课堂教学完成时，销毁所述课堂场景实例和所述教学内容场景实例。
为实现上述目的，本发明还提出一种基于XR技术的沉浸式课堂构建系统，所述系统的硬件主要包括云服务器集群、网络设备、以及XR终端，在云服务器集群中，服务器包括课堂管理服务器、多台XR应用服务器、存储服务器、流媒体服务器，所述系统的软件包括：沉浸式课堂管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端，沉浸式课堂管理控制中心安装在课堂管理服务器，XR资源库部署在存储服务器，用户端安装在师生的XR终端上，XR应用服务端安装在每台XR应用服务器上，流媒体服务端安装在流媒体服务器上，其中，XR资源库存储了课堂场景模板、教学内容对应的XR应用资源，沉浸式课堂管理控制中心模块用来配置课堂基础参数与课堂的教学内容、调配实例化课堂场景所需要XR应用服务器、调配实例化课堂场景所需要XR应用服务器、设定各教学内容场景的三维成像区间、管理教学内容场景实例的动态生成与销毁，在课堂教学完成时，指令XR应用服务器上的XR应用服务端销毁所有课堂场景实例与教学内容场景实例，用户端模块，用于根据师生用户体验需求，与课堂场景实例或教学内容场景实例建立通信连接，可以采集师生用户终端的定位数据、互动操作，发送给场景实例，接收场景实例发功过来的沉浸式体验画面，并显示给用户，当用户同时进入多个场景时，用户可以通过用户端模块设置各场景在用户体验空间的三维显示区间，还可以设置场景在用户体验空间呈现的位姿以及缩放比例，所述基于XR技术的沉浸式课堂系统软件被所述系统硬件运行时执行如上所述方法的步骤。
为实现上述目的，本发明一种计算机可读存储介质，所述计算机可读存储介质存储有基于XR技术的沉浸式课堂构建程序，所述基于XR技术的沉浸式课堂构建程序被处理器运行时执行如上所述的方法的步骤。
本发明基于XR技术的沉浸式课堂构建方法、系统及存储介质的有益效果是：本发明通过上述技术方案，包括以下步骤：步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息；步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换，构建的沉浸式课堂使得沉浸式教学可管可控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明基于XR技术的沉浸式课堂构建方法较佳实施例的流程示意图；
图2是沉浸式课堂场景加载教学内容场景效果示意图；
图3是师生用户同时进入多个场景的示意图；
图4是读取步骤S10中的课堂基础配置后初始生成的课堂场景示意图；
图5是读取步骤S10的教学内容配置后为每位师生生成的教学内容场景示意图；
图6是课堂场景加载所有师生的教学内容场景后的效果示意图；
图7是单个师生用户同时进入两个场景后看到的画面示意图。
图8是所有师生进入课堂场景示意图；
图9是单人教学任务生成教学内容场景实例示意图；
图10是分组学习任务生成教学内容场景实例示意图；
图11是教学内容场景实例与课堂场景实例建立通信连接示意图；
图12是学生进入教学内容场景示意图；
图13是进入他人的教学内容场景示意图；
图14是学生观看教师教学示意图；
图15是学生边学边做，同时进入两个教学内容场景的示意图；
图16是本发明基于XR技术的沉浸式课堂构建方法所涉及的系统硬件构成示意图；
图17是发明基于XR技术的沉浸式课堂构建方法所涉及的系统软件构成示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此对“场景”与“场景实例”这个两个概念进行说明，以便区分。场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是系统调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程，此程序进程实时计算场景内各对象状态，并渲染画面。单个场景同时有个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给用户，这些场景实例之间同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景。
本发明基于XR技术，提出了一种基于XR技术的沉浸式课堂构建方法，革新了课堂的组成、结构、功能以及教学方法。本发沉浸式课堂包含课堂场景、教学内容场景。课堂场景提供了课堂教学的组织管理功能，教学内容场景提供教学内容体验。教学内容场景可以为师生分别单独体验、分组体验或全课堂共享体验，当教学内容场景为师生分别单独体验或分组体验时，需要同时构建多个教学内容场景。课堂场景加载所有教学内容场景，所有师生共享同一个课堂场景。在课堂场景里，师生可以进行协同互动，也可以直接与教学内容场景里的对象互动，还可以选择进入教学内容场景。为了适配学习协助、学习竞赛、学中做等教学需求，用户可以选择同时进入多个教学内容场景。
具体地，如图1所示，本发明基于XR技术的沉浸式课堂构建方法较佳实施例包括以下步骤：
步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息。
步骤S20，生成沉浸式课堂场景，把课堂场景实例分配给师生：根据所述课堂的基础参数，调用课堂场景模板，生成课堂场景，并调用服务器资源实例化课堂场景，分配课堂场景实例给师生。
步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，调用服务器资源实例化教学内容场景，把教学内容场景实例分配给师生。
步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置。课堂场景加载教学内容场景后，师生可以在课堂场景直接与教学内容场景内的对象互动。
步骤S50，根据师生场景切换指令，系统为师生切换体验场景：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；另外，系统可以为任意师生生成同时进入多个场景的沉浸式体验，师生同时进入多个场景后，可以同时与这些场景内的对象进行互动，包括：同时进入教学内容场景与课堂场景，同时进入多个教学内容场景。
如图2所示，课堂场景加载所有教学内容场景。在图2中，有1位教师与4位学生组织沉浸式课堂教学，系统构建了一个课堂场景，还构建了5个教学内容场景，系统给每位教师与学生每人分配了一个教学内容场景，各教学内容场景按照一定的形状、大小、位姿同时呈现在课堂场景里。
如图3所示，任意师生可同时进入多个场景。在图3中，学生A同时进入了两个教学内容场景，其中教学场景A是分配给学生A的，教学场景E是分配给教师，从而学生A可以同时看到自己的教学内容场景A与教师的教学内容场景E，由此学生A可以沉浸式观看教师在教学内容场景E的教学活动，同时可以在自己的教学内容场景A进行虚拟实操。
本实施例中的沉浸式课堂的实际效果图如图4至图7所示，其中，图4是读取步骤S10中的课堂基础配置后初始生成的课堂场景效果示例图，图5是读取步骤S10的教学内容配置后为每位师生生成的教学内容场景效果示例图，图6是课堂场景加载所有教学内容场景后的效果示例图，图7是单个师生用户同时进入两个场景后看到的效果示例图。
进一步地，本实施例中，所述步骤S10，配置沉浸式课堂的步骤包括：
根据教学任务安排，配置课堂基础参数：师生集合为P＝{p0 p1 … pN}，其中p0为教师，配置课堂开始时间为T0，配置教学内容为Φ，包括教学内容的介绍信息，以及教学内容XR应用程序、XR资源包等课程XR教学资源，其中XR教学应用程序可以生成教学内容场景，XR教学应用程序可以调用XR资源包。
本实施例中，所述课堂场景模板定义了课堂场景的基础视觉效果，并定义了师生信息、教学内容介绍信息的显示方式，课堂场景模板中师生信息、教学内容介绍信息可配置，所述步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，调用服务器资源生成课堂场景实例，分配课堂场景实例给师生的步骤包括：
步骤S201，调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间T0，创建课堂场景实例，课堂场景实例的数量须满足可以同时为所有师生提供课堂场景体验，例如：单个课堂场景实例只能为1位师生用户提供沉浸式体验服务，则课堂有N位师生，就需要生成N个课堂场景实例，各课堂场景实例之间进行状态同步；
步骤S202，分配课堂场景实例给师生，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例。
本实施例中，所述步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR应用程序，根据学生分组情况，生成单个或多个教学内容场景，调用服务器资源实例化教学内容场景，把教学内容场景实例分配给师生：
根据步骤S10配置的教学内容Φ，读取相关XR应用程序，当默认的教学任务需要学生单独完成时，给每个学生分别生成一个教学内容场景并实例化教学内容场景，分配教学场景实例给对应学生。在本实施例中，单个XR应用程序只能同时构建单个教学内容场景，为了构建多个教学内容场景，需要复制此XR应用程序，复制后生成的多个XR应用程序可以分布在多台服务器上，同时运行生成多个教学内容场景。
当教学任务需要小组学习时，给小组内的学生构建一个教学内容场景，小组内的学生共享此教学内容场景，生成教学内容场景实例分配给小组内的学生，其中，为单个学习小组创建教学内容场景实例的数量根据小组学生数量与单个场景实例能服务学生数量决定，单个学习小组教学内容场景实例的数量须满足可以同时为小组内所有学生提供教学内容场景体验，小组内的教学内容场景实例需要进行场景状态的同步，分配教学场景实例给小组内对应学生。
本实施例中，所述步骤S40，课堂场景加载教学内容场景：指定各教学内容场景的三维成像区间，各教学内容场景在其三维成像区间的部分经过缩放呈现在课堂场景指定位置，师生在课堂场景内能直接与教学内容场景的对象进行互动。
本实施例中，所述步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；另外，任意师生可以同时进入多个场景，师生同时进入多个场景后，可以同时与这些场景内的对象进行互动，包括：同时进入教学内容场景与课堂场景，同时进入多个教学内容场景。
作为一种实施方式，本实施例中，所述步骤S50，根据教学活动需求，师生进行场景切换的步骤之后还包括：
步骤S60：当课堂教学完成时，销毁所述课堂场景实例和所述教学内容场景实例。
以下对本发明基于XR技术的沉浸式课堂构建方法各步骤的具体实现方案进行进一步地详细阐述。
步骤S10，配置沉浸式课堂：
根据教学任务安排，配置课堂基础参数：师生集合为P＝{p0 p1 … pN}，其中p0为教师，配置课堂开始时间为T0，配置教学内容为Φ，包括教学内容的介绍信息，以及教学内容XR应用程序、XR资源包等课程XR教学资源，其中XR教学应用程序可以生成教学内容场景。
步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，调用服务器资源生成课堂场景实例，分配课堂场景实例给师生。具体如下。
步骤S201，调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间T0，创建课堂场景实例，课堂场景实例的数量须满足可以同时为所有师生提供课堂场景体验，例如：单个课堂场景实例只能为1位师生用户提供沉浸式体验服务，则课堂有N位师生，就需要生成N个课堂场景实例，各课堂场景实例之间进行状态同步；
步骤S202，分配课堂场景实例给师生，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例。
以图8为例，1位教师和3位学生加入课堂，系统为每位师生生成了一个课堂场景实例，共生成了4个课堂场景实例，课堂场景实例1和课堂场景实例2、实例3、实例4建立了通信连接，4个课堂场景实例之间同步课堂场景状态。4个课堂场景实例分配给师生，各师生终端分别与被分配的场景实例建立了通信连接，例如学生A终端与课堂场景实例2建立通信连接，学生终端A的对课堂场景的互动操作发送给课堂场景实例2，课堂场景实例2生成学生A的体验画面并发送给学生A的终端。
步骤S30，生成教学内容场景实例并分配给师生：
根据所述教学内容，读取课程XR应用程序，根据学生分组情况，生成单个或多个教学内容场景，调用服务器资源实例化教学内容场景，把教学内容场景实例分配给师生：
根据步骤S10配置的教学内容Φ，读取相关XR应用程序，当默认的教学任务需要学生单独完成时，给每个学生分别生成一个教学内容场景并实例化教学内容场景，分配教学场景实例给对应学生。在本实施例中，单个XR应用程序构建单个教学内容场景，为了构建多个教学内容场景，需要复制此XR应用程序，复制后生成的多个XR应用程序可以分布在多台服务器上，同时运行生成多个教学内容场景。
当默认的教学任务需要小组学习时，给小组内的学生构建一个教学内容场景，小组内的学生分享此教学内容场景，生成教学内容场景实例分配给小组内的学生，其中，为单个学习小组创建教学内容场景实例的数量根据小组学生数量与单个场景实例能服务学生数量决定，单个学习小组教学内容场景实例的数量须满足可以同时为小组内所有学生提供教学内容场景体验，小组内的教学内容场景实例需要进行场景状态的同步，分配教学场景实例给小组内对应学生。
以图9为例，1位教师和3位学生加入课堂，默认的教学任务需要学生单独完成，系统为每位师生都构建了教学内容场景，共四个教学内容场景，分别为：教学内容场景1、教学内容场景2、教学内容场景3、教学内容场景4。系统为每个教学内容场景都生成1个场景实例，分别生成了教学内容场景1实例1、教学内容场景2实例1、教学内容场景3实例1、教学内容场景4实例1，共生成了4个课堂场景实例，这些教学内容场景实例分别分配给教师、学生A、B、C。不过教学内容场景实例暂时不需要和师生的XR终端建立通信。
以图10为例，当教学任务需要学生分组完成，学生A和学生B组成学习小组，学生C单独一个小组，故系统为学生A和学生B构建一个共享的教学内容场景2，为教师与学生C分别构建了教学内容场景1、3。在图10中，系统为学生A和学生B各生成了一个教学内容场景2的实例，也就是教学内容场景2实例1与教学内容场景2实例2，其中教学内容场景2实例1分配给学生A，教学内容场景2实例2分配给学生B，这两个场景实例建立通信连接同步场景状态，使学生A和学生B协同体验教学内容场景2。
步骤S40，课堂场景加载教学内容场景：
指定各教学内容场景的三维成像区间，此三维成像区间可以是长方体、球型等任意形状，各教学内容场景在其三维成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角，师生在课堂场景内能直接与教学内容场景的对象进行互动。
教学内容场景在课堂场景中呈现的方式为：教学内容场景实例实时生成三维成像区间内场景部分的体素图，体素图实时被传送到课堂场景实例，然后体素图依照指定的缩放比例，在一定的位姿参数下部署到课堂场景实例里。具体步骤如下：
(1)课堂场景实例与教学内容场景实例建立通信连接。每个教学内容场景必须有至少一个场景实例与所有课堂场景实例建立通信连接，从而确保任意师生可以在分配给其的课堂场景实例里看到所有教学内容场景。为了减少场景实例之间通信连接数量，可以采取流媒体服务器中继的方式，教学内容场景实例与流媒体服务器建立通信连接，流媒体服务器与各课堂场景实例建立通信连接，流媒体服务器把各场景实例实时生成的体素图汇总到一起，然后发送给各课堂场景实例。另外，每个师生用户被分配的课堂场景实例还可以与教学内容场景实例建立可传送互动操作命令的通信连接，从而师生用户在课堂场景就可以与教学内容场景里的对象互动，而不需要切换到教学内容场景。
以图11为例，系统为4位师生构建了4个教学内容场景并生成了4个场景实例，这4个场景实例都与流媒体服务器建立通信连接，也就是教学内容场景1实例1、教学内容场景2实例1、教学内容场景3实例1、教学内容场景4实例1都与流媒体服务器建立通信连接，这4个教学内容场景实例生成体素图传输到流媒体服务器。流媒体服务器与所有的课堂场景实例都建立了通信连接，也就是流媒体服务器与课堂场景实例1、2、3、4建立了通信连接，流媒体服务器汇总所有实时生成的体素图后，实时传输给各课堂场景实例。在图11中，各师生用户的课堂场景实例分别与分配给他们的教学内容场景实例建立了用来传送互动操作命令的通信连接，例如：分配给教师的课堂场景实例1与教学内容场景1实例1建立了用来传输互动操作数据的通信连接，分配给教师的课堂场景实例2与教学内容场景2实例1建立了用来传输互动操作数据的通信连接。
(2)教学内容场景实例实时生成体素图。
对于任意教学内容场景Sm，设定三维成像区间Ωm，为Ωm定义直角坐标系教学内容场景Sm的直角坐标系为/> 的三个坐标轴用/>表示，/>的三个坐标轴用x、y、z表示。其中，本实施例限定/>与/>坐标系旋转关系中，/>只能绕的y轴旋转，不能绕其它轴旋转。
体素是3D空间的像素，本实施例中任意体素成像区域为场景中的一个长方体，长方体大小确定了体素的分辨率，长方体越大，体素分辨率越小。令体素图V中，任意体素对应的成像长方体大小为其中/>分别为此长方体的长宽高。体素图V中，坐标值为(i j k)的任意体素用V(i j k)表示，其值为V(i j k)＝[δijk Cijk]。其中δijk取值为0或1，取值为0表示此体素对应的成像长方体/>不包含任何物体表面，取值为1表示此体素对应的成像长方体包含物体表面；Cijk表示此体素对应的成像长方体包含物体表面的颜色。
在本实施例中，体素V(i j k)对应成像长方体的中心点在/>中坐标值为体素V(i j k)在ΨD中旋转角度为(0 0 0)。设定坐标系/>到/>旋转角度为/>平移量为/>令任意物体在/>中坐标值/>在中对应坐标值为(cx cy cz)，则/>到/>坐标值转换关系可以表示为：
令任意物体在ΨD中在三个轴上的旋转角度值在/>中对应角度值为(θx θy θz)，则/>到/>角度值转换关系可以表示为：
由此，体素图V中任意体素V(i j k)对应的成像长方体已知成像长方体的中心点在ΨD中坐标值为/>旋转角度为(0 0 0)，把/>代入式(1)可计算得到/>中心点在Sm坐标系/>下的位置坐标，把(0 0 0)代入式(2)可计算得到/>在/>中的旋转角度值。
遍历教学内容场景实例Sm中所有物体的表面，如果没有物体表面与相交，则δijk＝0，否则δijk＝1；当δijk＝1时，需进一步计算出此体素的颜色值，本实施例中用与/>相交的物体表面任意点漫反射属性值γijk＝[r g b a]作为此体素的颜色值，则Cijk＝γijk。
(3)课堂场景实例实时接收体素图。
任意课堂场景实例都实时接收所有体素图，例如图11所示，课堂场景实例1通过流媒体服务器，实时接收到教学内容场景1、2、3、4的场景实例生成的体素图。
(4)加载体素图到课堂场景。
课堂场景实例读取体素图各体素的值，并确定各体素在课堂场景实例中的三维显示区间。
对于任意体素V(i j k)，如果δijk为0，则无需处理，如果δijk为1，需要计算得到V(ij k)在课堂场景中对应的三维显示区间本实施例限定三维成像区间Ω直角坐标系到课堂坐标系Ψclass旋转角度，只能绕水平面垂直坐标轴旋转。
设定到Ψclass绕水平面垂直方向旋转角度为β，缩放比例为λ，平移量为表示[pxpy pz]，其中/>到Ψclass缩放是三个轴上等比例缩放。任意物体在/>中坐标值为其在Ψclass中对应坐标值为(wx wy wz)，则/>到Ψclass坐标值转换关系可以表示为：
令中任意物体旋转角度值为/>其在Ψclass中对应旋转角度值为(θ′x θ′y θ′z)，则/>到Ψclass角度值转换关系可以表示为：
把成像长方体中心点在ΨD的位置/>以及/>在ΨD的旋转角度(0 0 0)代入式(3)与(4)，可计算得到体素V(i j k)在课堂场景显示区间长方体中心点在Ψclass的位置，以及/>在Ψclass的旋转角度，/>长宽高为
对体素V(i j k)，在课堂场景中部署一个位姿形状大小与完全一致的长方体，设定长方体颜色为Cijk。按以上方法遍历所有体素，由此完成教学内容场景在课堂场景中呈现。课堂场景每次接收到任意教学内容场景的体素图时，需要在课堂场景内清除前面已加载的此教学内容场景的体素图，然后再加载新体素图。/>
(5)获取课堂场景内对教学内容场景的互动命令并转换传输到教学内容场景。
用户进行互动操作，系统生成相应的互动操作命令，互动操作命令包含互动操作的位姿参数(位置与姿态角)，当课堂场景实例监听到互动操作命令时，在本实施例中以互动操作位姿参数中的位置坐标值是否在此教学内容场景体素图的显示区间内为判断准则，判断此互动操作命令是否为对教学内容场景的互动，当此用户互动操作命令是对教学内容场景的互动，课堂场景实例把此互动操作命令的位姿参数转换到教学内容场景坐标系，转换成教学内容场景的互动命令，并把转换后的互动命令发送到对应的教学内容场景实例，教学内容场景实例接收到互动命令，对此互动命令进行响应。
例如：对于任意师生用户p，有任意教学内容场景Sm，其指定的三维成像区域为Ωm，课堂场景坐标系为Ψclass，三维成像区域Ωm坐标系为到Ψclass绕水平面垂直方向旋转角度为β，缩放比例为λ，平移量为[px py pz]，其中/>到Ψclass缩放是三个轴上等比例缩放。任意物体在坐标系/>下位置为/>其在Ψclass中坐标值为(wx wy wz)，则Ψclass到ΨD坐标值转换关系可以表示为：
令中任意角度值/>在Ψclass中对应角度值用(θ′x θ′y θ′z)表示，则Ψclass到/>角度值转换关系可以表示为：
令用户p在课堂场景进行互动操作，生成互动命令a，其位姿参数中位置W0＝(wx，0wy，0 wz，0)、姿态角Θ0＝(θ′x，0 θ′y，0 θ′z，0)，把W0代入式(5)可计算得到位置W0在坐标系中的坐标值/>把Θ0代入式(6)可计算得到姿态角Θ0在坐标系/>的角度值/>当坐标值属于Ωm时，则判断用户p在在课堂场景与教学内容场景Sm进行互动。进一步，由成像区间坐标系/>与教学内容场景坐标系/>之间的旋转平移关系，把/>代入式(1)，把/>代入式(2)可以计算得到互动命令a在教学内容场景Sm坐标系中位姿值，把此位姿值赋值给互动命令a的位姿参数，课堂场景实例把转换了位姿参数的互动命令a发送给教学内容场景Sm的实例，教学内容场景实例响应此互动命令，完成用户在课堂场景对教学内容场景的互动。
步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；另外，任意师生可以同时进入多个场景，师生同时进入多个场景后，可以同时与这些场景内的对象进行互动，包括：同时进入教学内容场景与课堂场景，同时进入多个教学内容场景。
师生在课堂场景与教学内容场景之间切换：
实现方法为改变与师生的XR终端连接的场景实例。任意师生体验课堂场景，XR终端与课堂场景实例连接，接受课堂场景发送过来的体验画面，把互动操作传送给课堂场景实例；当要体验教学内容场景时，断开XR终端与课堂场景实例的连接，建立XR终端与教学内容场景实例之间的连接，XR终端接收教学内容场景实例生成的体验画面，向教学内容场景实例发送互动操作信息；如果要切换回课堂场景，需要XR终端断开与教学内容场景实例的连接，重建与课堂场景实例的连接。以图11、图12为例，在图11中，教师与学生都是体验课堂场景，在图12中，三位学生的终端断开了与课堂场景实例的连接，与教学内容场景实例建立了通信连接，由此三位学生从课堂场景实例切换到了教学内容场景，其中教学内容场景实例生成体验画面传输给终端时，生成体验画面过程不受系统给教学内容场景实例设定的三维成像区间的限制。
师生在多个教学内容场景之间切换：
师生可以切换到他人的教学内容场景，观看对方的教学过程或者进行教学协同。实现方法为：用户p的XR终端断开原有与场景实例之间的通信连接，与分配给用户的教学内容场景实例/>建立通信连接，如果场景实例/>获得的计算资源无法同时为用户p实时生成体验画面，则系统需要克隆场景实例/>生成一个新的场景实例q′，用户p的XR终端与场景实例q′建立通信连接，q′为用户p生成沉浸式体验，q′与/>之间需要建立通信连接，实时同步场景状态。
如图12、图13所示，在图12中，学生A在自己的教学内容场景2中体验，教学内容场景3是学生B的场景，在图13中，学生A申请进入学生B的教学内容场景，系统克隆教学内容场景3实例1，生成教学内容场景3实例2，学生A的XR终端与教学内容场景3实例2建立通信连接，教学内容场景3实例1、2之间建立了通信连接同步场景状态，教学内容场景3的实时生成体验画面传送给学生A的终端，XR终端把学生A的互动操作信息发送给教学内容场景3实例2，从而实现了学生A切入到学生B的教学内容场景。
当所有学生都切换到教师的教学内容场景，学生就可以在教师的教学内容场景里沉浸式观看教师的教学。所有学生的终端都需要和教师的教学内容场景实例建立通信连接，教师的教学内容场景实例分别为师生渲染体验画面，当教师内容场景单个实例不能同时为所有师生实时生成体验画面时，就需要生成教师教学内容场景的多个场景实例，这些场景实例之间建立通信连接，同步场景状态，并分配给师生。以图14为例，为了简便，图14中没有给出课堂场景实例。如图14所示，系统克隆教师的教学内容场景1的实例1，生成了教学内容场景1实例2、3、4，实例1分别与实例2、3、4建立通信连接，同步场景状态，系统把实例2、3、4分配给学生A、B、C，并分别建立场景实例与学生终端的通信连接。
如图14所示，是所有学生都进入教师的课程内容讲授场景，也就是学生分享教学内容场景1，所以教学场景1分别生成了实例2、3、4给三位学生。
师生同时进入多个场景：
任意师生可以同时进入多个场景，例如学生可以同时进入教师的场景与自己的实操场景，从而可以边学边做；也可以同时进入自己的场景与别的学生场景，从而可以在进行自己学习任务时，给别的学生提供学习帮助；或者教师进入教学内容场景后，同时进入课堂场景，从而教师在教学的同时对课堂进行管理。
实现的方式为：令任意师生用户p，申请同时进入多个场景系统分配给此用户的场景实例集合为/>用户p与Q中所有场景实例都建立通信连接，Q中所有场景实例都实时生成体验画面以及体验画面的深度图像传送给用户p的XR终端，给用户的体验空间划分为多个显示区间/>并把显示区间分配给各场景实例，设定各场景坐标系在用户的体验空间下的位姿与缩放比例，各场景实例只有在分配的显示区间部分才显示。用户在体验空间的互动操作命令，根据命令的位置参数属于哪个显示区间，判读此命令属于对哪个场景的互动操作，把互动操作命令发送到对应的场景实例。具体包括如下步骤：
(1)计算各场景实例的成像区间
给任意场景sk分配了用户体验空间的显示区间Ωk，设定sk坐标系到用户体验空间的旋转平移缩放关系，则可确定此场景的成像区间。具体计算方法如下。
已知：用户体验空间直角坐标系为场景实例集合S中任意场景sk在用户体验空间的显示区间为Ωk，其直角坐标系为/>到/>的旋转关系只能绕水平面垂直方向旋转，其中水平面垂直方向为y轴，系统或用户设定了/>到/>的旋转平移缩放关系为：绕y轴旋转角度为βk，平移/>缩放系数为λk。求场景sk对应的成像区间Φk。
解：令场景sk坐标系中任意点/>在用户体验空间坐标系/>中坐标值用(cx cy cz)表示，则从/>到/>坐标值变换关系为：
则Φk为用户体验空间中满足如下约束的三维区间：对于Φk中任意点由上式计算得到在用户体验空间坐标系/>中对应坐标值为(c′x c′y c′z)，必有/>
(2)计算用户在各场景实例坐标系下的位姿值
令任意用户pi的体验空间坐标系为已知设定的场景sk坐标系/>与体验空间坐标系/>之间的变换关系：绕y轴旋转角度为βk，平移/>缩放系数为λk。令用户体验空间坐标系/>中任意坐标值(cx cy cz)，其在场景实例sk坐标系/>坐标值用/>表示，坐标系/>到坐标系/>的坐标值变换关系为下式：
令中任意旋转角度值(θx θy θz)在/>中对应角度值用/>表示，则到/>旋转角度值转换关系可以表示为：
场景实例集合Q中任意场景sk在时刻tj，系统根据XR终端定位信息计算得到用户当前在体验空间的位姿为[Wj Rj]，其中为坐标值，/>为旋转角度值，把/>代入式(8)，把/>代入式(9)，则可求得用户在场景sk坐标系/>中的位姿值/>系统把/>传送到场景sk的实例qk。
(3)场景实例分别渲染用户位姿下的体验画面
任意时刻tj，在位姿视角下，渲染场景实例qk成像区间Φk内的用户体验画面，以及此用户体验画面对应的深度图，各场景实例生成的用户体验画面视角大小相同、分辨率相同。令qk渲染后生成的体验画面用Ik，j表示，深度图像用Dk，j表示。体验画面与深度图像分辨率相同，对于任意坐标值[x，y]其体验画面像素值为Ik，j(x，y)，对应深度值为Dk，j(x，y)。深度图片Ik，j与体验画面图片Dk，j实时发送到用户终端。
(4)拼接各场景实例渲染图片生成用户多场景体验画面
用户终端接收到各场景实例发送过来的体验画面与深度图片，把各场景实例生成的体验画面图片拼接得到多场景体验画面，在拼接过程中，由于在用户视线上的不同显示区间之间会相互遮挡，所以根据体验画面深度图片进行遮挡计算。具体如下：
用户pi终端，接收到各场景实例在时间tj生成的彩色图像和深度图像/>需要根据深度图像拼接各场景实例生成新的图像/>具体算法如下：
首先，令其中/>为/>对应的深度图。然后依次遍历I1，j、对于其中任意图像Ik，j，遍历图像所有像素，对于任意像素Ik，j(xm，ym)，如果有/>则/>
依据上面计算方法，遍历完所有场景实例体验画面，最终计算得到的彩色图像就是待求的用户体验画面/>
互动操作
用户的互动操作，根据互动操作的位置所在显示区间，判断互动操作属于哪个场景实例，并把互动操作命令的位姿参数转换成对应场景实例，终端把位姿参数转换后的互动操作命令发送给对应的场景实例。具体如下：
用户pi在其体验空间进行互动操作，产生互动操作命令a，互动操作的位置参数为姿态角参数为/>遍历用户体验空间里的所有显示区间判断出坐标值为/>的点所在的显示区间为Ωk，把/>代入式(6)，把/>代入式(9)，则可求得命令a位姿参数在场景sk坐标系/>下的位姿值把/>赋值给互动操作命令a的位姿参数分量，发送转换了位姿参数的互动命令a给场景实例qk，qk响应此互动操作命令。
下文以“学中做”教学活动为例，介绍用户同时进入多个场景的通信连接。
如图15所示，学生为了在听教师讲授的同时也进行实操，系统克隆了教师的教学内容场景实例，给每位学生都分配了一个教师教学内容场景实例，这些教学内容场景实例与教师自己的教学内容场景实例建立了通信连接，同步场景状态，也就是教学内容场景1实例1与教学内容场景1实例2、3、4同步状态，每位学生同时与自己教学内容场景的实例以及克隆的教师教学内容场景实例建立通信连接，例如学生A同时与教学内容场景2实例1和教学内容场景1实力建立通信连接，同时接收这两个场景实例发送的用户体验画面，拼接体验画面生成多场景体验画面。
步骤S60，结束教学，销毁所有场景实例，关闭沉浸式课堂。
以下对实现本发明基于XR技术的沉浸式课堂构建方法所涉及的系统架构进行说明。
一、系统硬件构成
如图16所示，实现本发明基于XR技术的沉浸式课堂构建方法所涉及的系统架构硬件系统主要包括云服务器集群、网络设备、以及XR终端。在云服务器集群中，服务器包括课堂管理服务器、多台XR应用服务器、存储服务器、流媒体服务器。XR应用服务器须具备高性能的图形渲染能力，服务器之间须互联互通，用户的XR终端通过无线网络访问课堂管理服务器与所有XR应用服务器，XR终端可以是手机、XR头显或眼镜。
二、系统软件构成
如图17所示，实现本发明基于XR技术的沉浸式课堂构建方法所涉及的系统架构软件系统主要包括5个模块：沉浸式课堂管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端。沉浸式课堂管理控制中心安装在课堂管理服务器，XR资源库部署在存储服务器，用户端安装在师生的XR终端上，XR应用服务端安装在每台XR应用服务器上，流媒体服务端安装在流媒体服务器上。下面介绍各模块的主要功能。
1、XR资源库：
XR资源库存储了课堂场景模板、教学内容对应的XR应用程序等XR应用资源。
2、沉浸式课堂管理控制中心：
安装在沉浸式课堂管理服务器上，功能包括：
(1)课堂管理人员在沉浸式课堂管理控制中心配置课堂的基础参数与课堂的教学内容。
(2)调配实例化课堂场景所需要XR应用服务器，根据云服务器集群内所有XR应用服务器闲置的CPU、显卡等计算资源情况，课堂场景实例所需数量，以及单个课堂场景实例需要的计算资源，确定哪些服务器需要用来实例化课堂场景，进一步确定各台服务器需要生成的课堂场景实例数量。然后，沉浸式课堂管理控制中心，给这些需要实例化课堂场景的XR应用器上的XR应用服务端发送课堂场景实例化指令，XR应用服务端将根据指令里生成课堂场景实例数量参数与沉浸式课堂配置信息，调用课堂场景模板，生成课堂场景，生成相应数量的课堂场景实例。沉浸式课堂管理控制中心指定各课堂场景实例的归属，完成课堂场景实例的分配。
例如：每台XR应用服务器的cpu具有16核并带3块高性能显卡，参与课堂的师生共有31人，令每个课堂场景实例只为1位师生提供沉浸式体验，每个课堂场景实例需要5核和1块高性能显卡，则系统需要共生成31个课堂场景实例，所以沉浸式课堂管理控制中心调配了11台完全空闲的XR应用服务器，向这11台服务器的XR应用服务端发送指令，其中10台服务器分别生成3个课堂场景实例，另外1台服务器只生成1个课堂场景实例，这11台服务器的XR应用服务器收到指令后，共生成31个课堂场景实例，沉浸式课堂管理控制中心指定31个场景实例分别属于哪位师生。
(3)课堂管理员或系统可以在教学管理控制中心对学生分组，教学管理控制中心根据学生分组情况，确定需要生成的教学内容场景数量，调配实例化课堂场景所需要XR应用服务器，根据云服务器集群内所有XR应用服务器闲置的CPU、显卡等计算资源情况，教学内容场景实例所需数量，以及单个教学内容场景实例需要的计算资源，确定哪些服务器需要用来实例化教学内容场景，进一步确定各台服务器需要生成的教学内容场景实例数量。然后，沉浸式课堂管理控制中心，给这些需要实例化教学内容场景的XR应用器上的XR应用服务端发送教学内容场景实例化指令，XR应用服务端将根据指令里生成教学内容场景数量参数与沉浸式课堂配置信息，调用教学内容对应XR应用程序，生成相应数量的教学内容场景实例。沉浸式课堂管理控制中心指定各课堂场景实例的归属，完成课堂场景实例的分配，并指令属于同一个教学内容场景的场景实例建立通信连接，同步场景状态。
例如：课堂内有30位学生和1位教师，30位学生分成6组，每组5位学生，系统需要生成7个教学内容场景，其中教师1个教学内容场景，6个小组每个组1个教学内容场景。每台XR应用服务器的cpu具有16核并带3块高性能显卡，令每个教学内容场景实例只为1位师生提供沉浸式体验，每个课堂场景实例需要5核和1块高性能显卡，则系统需要为每个小组的教学内容场景生成5个教学内容场景实例，为教师的教学内容场景生成1个教学内容场景实例，共生成31个教学内容场景实例，沉浸式课堂管理控制中心调配11台完全空闲的XR应用服务器，向这11台服务器的XR应用服务端发送指令，其中10台服务器分别生成3个教学内容场景实例，另外1台服务器只生成1个教学内容场景实例，这11台服务器的XR应用服务器收到指令后，共生成31个教学内容场景实例，沉浸式课堂管理控制中心指定31个教学内容场景实例分别属于哪位师生，并命令属于同一组的教学内容场景实例建立通信连接，同步场景状态。
(4)课堂管理员或系统可以在教学管理控制中心设定各教学内容场景的三维成像区间，可以设定三维成像区间在教学内容场景的位姿，可以设置各教学内容场景体素图在课堂场景呈现的位姿与缩放尺寸。
(5)根据教学活动需求，可以动态管理教学内容场景实例的生成与销毁。例如：以图14为例，学生A需要进入教师的教学内容场景听课，分配给教师的教学内容场景1实例1没有多余的计算资源为学生A生成沉浸式体验，则沉浸式课堂管理控制中心会调配一台空闲或有足够空闲计算资源的XR应用服务器，给此服务器的XR应用服务端发送指令，实例化教师教学内容场景，生成教学内容场景1实例2，沉浸式课堂管理控制中心把此场景实例分配给学生A，此场景实例与教师的教学内容场景实例建立通信连接并同步状态，当学生A离开教师的教学内容场景时，沉浸式课堂管理控制中心会指令服务器的XR应用服务端销毁教学内容场景1实例2。
(6)当课堂教学完成时，指令XR应用服务器上的XR应用服务端销毁所有课堂场景实例与教学内容场景实例。
3、XR应用服务端：
具体功能包括：
(1)接收沉浸式课堂管理控制中心发送过来的课堂场景实例化指令，XR应用服务端将根据指令里生成课堂场景实例数量参数与沉浸式课堂配置信息，调用课堂场景模板，生成课堂场景，生成相应数量的课堂场景实例。
(2)接收沉浸式课堂管理控制中心发送过来的教学内容场景实例化指令，XR应用服务端将根据指令里生成教学内容场景数量参数与沉浸式课堂配置信息，调用教学内容对应XR应用程序，生成相应数量的教学内容场景实例。
(3)接收沉浸式课堂管理控制中心发送过来的销毁场景实例指令，销毁对应的课堂场景实例或教学内容场景实例。
4、用户端：
具体功能包括：
(1)根据师生用户体验需求，与课堂场景实例或教学内容场景实例建立通信连接；
(2)采集师生用户终端的定位数据、互动操作等，发送给场景实例；
(3)接收场景实例发功过来的沉浸式体验画面，并显示给用户；
(4)当用户同时进入多个场景时，用户可以通过用户端设置各场景在用户体验空间的三维显示区间，还可以设置场景在用户体验空间呈现的位姿以及缩放比例；
5、流媒体服务端：
安装在流媒体服务器，接收教学内容场景实例实时发送过来的体素图，汇总后发送到各课堂场景实例。
本发明基于XR技术的沉浸式课堂构建方法的有益效果是：本发明通过上述技术方案，包括以下步骤：步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容，所述课堂的基础参数至少包括师生姓名、课堂开始时间信息；步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；步骤S50，根据教学活动需求，师生进行场景切换：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换，构建的沉浸式课堂使得沉浸式教学可管可控。
为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有基于XR技术的沉浸式课堂构建程序，所述基于XR技术的沉浸式课堂构建程序被处理器运行时执行如上实施例所述的方法的步骤，这里不再赘述。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种基于XR技术的沉浸式课堂构建方法，其特征在于，所述方法包括以下步骤：
步骤S10，配置沉浸式课堂：配置课堂的基础参数、课堂的教学内容；
步骤S20，生成沉浸式课堂场景，并分配课堂场景实例给师生：调用课堂场景模板，根据所述沉浸式课堂配置信息，生成课堂场景，实例化课堂场景，把课堂场景实例分配给师生；
步骤S30，生成教学内容场景，并把教学内容场景实例分配给师生：根据所述教学内容，读取课程XR教学资源，根据学生分组情况，生成单个或多个教学内容场景，实例化教学内容场景，把教学内容场景实例分配给师生；
步骤S40，课堂场景加载教学内容场景：为所有教学内容场景都分别指定三维成像区间，各教学内容场景在其成像区间的部分经过缩放呈现在课堂场景指定位置与姿态角；
步骤S50，根据师生切换场景指令，系统为师生切换体验场景：在课堂场景与教学内容场景之间切换，或者在多个教学内容场景之间切换；系统可以为任意师生生成同时进入多个场景的沉浸式体验，包括：同时进入教学内容场景与课堂场景，以及同时进入多个教学内容场景；师生同时进入多个场景进行沉浸式体验，实现步骤包括：
步骤S501，设定各场景在用户体验空间的三维显示区间以及设定各场景坐标系到用户体验空间的旋转平移缩放关系；
步骤S502，计算各场景的成像区间；
步骤S503，计算师生在各场景中的位姿值；
步骤S504，生成各场景的用户体验画面；
步骤S505，拼接各场景用户体验画面生成师生多场景体验画面。
2.根据权利要求1所述的基于XR技术的沉浸式课堂构建方法，其特征在于，所述步骤S40课堂场景加载教学内容场景后，师生可以在课堂场景直接与教学内容场景内的对象互动，在所述步骤S50，任意师生同时进入多个场景后，可以同时与这些场景内的对象进行互动。
3.根据权利要求2所述的基于XR技术的沉浸式课堂构建方法，其特征在于，所述步骤S40，课堂场景加载教学内容场景的步骤包括：
步骤S401，课堂场景实例与教学内容场景实例建立通信连接；
步骤S402，教学内容场景实例实时生成体素图；
步骤S403，课堂场景实例实时接收教学内容场景体素图；
步骤S404，加载体素图到课堂场景；
步骤S405，获取课堂场景内对教学内容场景对象的互动命令，并把互动命令的位姿参数转换到教学内容场景坐标系下，位姿参数转换后的互动命令传输到教学内容场景。
4.根据权利要求3所述的基于XR技术的沉浸式课堂构建方法，其特征在于，所述步骤S50中，师生同时进入多个场景进行沉浸式体验，实现步骤S505还包括在拼接过程中根据各场景体验画面深度信息，进行遮挡计算；
还有步骤S506，获取用户互动命令，根据互动命令的位姿参数，确定对应的互动操作所作用的场景，把所述互动命令的位姿参数转换到场景坐标下系，转换了位姿参数的互动命令传输给对应场景。
5.根据权利要求4所述的基于XR技术的沉浸式课堂构建方法，其特征在于，所述S405获取课堂场景内对教学内容场景对象的互动命令，并把互动命令的位姿参数转换到教学内容场景坐标系下，位姿参数转换后的互动命令传输到教学内容场景具体为：
课堂场景实例监听到互动操作命令时，以互动操作信息位姿参数与教学内容场景体素图显示区间的关系，判断所述互动操作命令是否为对教学内容场景的互动，以及与哪个教学内容场景互动，当所述互动操作命令是对教学内容场景Sm的互动，课堂场景实例把所述互动操作命令的位姿参数转换到教学内容场景Sm的坐标系下，转换成教学内容场景Sm的互动命令，并把转换后的互动命令发送到教学内容场景Sm的实例，教学内容场景Sm的实例接收到所述互动命令，对所述互动命令进行响应。
6.根据权利要求5所述的基于XR技术的沉浸式课堂构建方法，其特征在于，所述步骤S401，每个教学内容场景必须有至少一个场景实例与所有课堂场景实例建立通信连接，从而确保任意师生可以在分配给其的课堂场景实例里看到所有教学内容场景；为了减少场景实例之间通信连接数量，教学内容场景实例与流媒体服务器采取流媒体服务器中继的方式建立通信连接，流媒体服务
器与各课堂场景实例采取流媒体服务器中继的方式建立通信连接，流媒体服务器把各场景实例实时生成的体素图汇总到一起，然后发送给各课堂场景实例；每个师生用户被分配的课堂场景实例与教学内容场景实例建立可传送互动操作命令的通信连接，师生在课堂场景就可以与教学内容场景里的物体互动。
7.根据权利要求6所述的基于XR技术的沉浸式课堂构建方法，其特征在于，所述步骤S10，配置的沉浸式教学内容具体包括教学内容的介绍信息，以及教学内容对应的XR应用程序，其中XR教学应用程序可以生成教学内容场景；所述步骤S20生成沉浸式课堂场景，并分配课堂场景实例给师生，具体步骤为：调用课堂场景模板，根据所述沉浸式课堂配置信息，配置课堂场景模板中师生信息、教学内容介绍信息，生成课堂场景，在课堂预定的开始时间，创建课堂场景实例，课堂场景实例的数量须满足可以同时为所有师生提供课堂场景体验，在师生登录系统申请加入课堂时，师生的XR终端分别与被分配的课堂场景实例建立通信连接，课堂场景实例把渲染出的课堂体验画面传输给师生的XR终端，师生的XR终端把用户对课堂场景的互动操作发送给课堂场景实例；在所述步骤S50，师生在课堂场景与教学内容场景之间切换，实现方法为改变与师生的XR终端连接的场景实例，当体验课堂场景时，XR终端与课堂场景实例连接，接受课堂场景发送过来的体验画面，把互动操作传送给课堂场景实例，当要体验教学内容场景时，断开XR终端与课堂场景实例的连接，建立XR终端与教学内容场景实例之间的连接，XR终端接收教学内容场景实例生成的体验画面，向教学内容场景实例发送互动操作信息，教学内容场景实例生成体验画面过程不受给教学内容场景设定的三维成像区间限制，如果要切换回课堂场景，需要XR终端断开与教学内容场景实例的连接，重建与课堂场景实例的连接；步骤S50后还包括步骤S60：当课堂教学完成时，销毁所述课堂场景实例和所述教学内容场景实例。
8.一种基于XR技术的沉浸式课堂构建系统，其特征在于，所述系统的硬件包括云服务器集群、网络设备、以及XR终端，在云服务器集群中，服务器包括课堂管理服务器、多台XR应用服务器、存储服务器、流媒体服务器，所述系统的软件包括沉浸式课堂管理控制中心、XR资源库、用户端、XR应用服务端、流媒体服务端，沉浸式课堂管理控制中心安装在课堂管理服务器，XR资源库部署在存储服务器，用户端安装在师生的XR终端上，XR应用服务端安装在每台XR应用服务器上，流媒体服务端安装在流媒体服务器上，其中，XR资源库存储了课堂场景模板、教学内容对应的XR应用资源，沉浸式课堂管理控制中心模块用来配置课堂基础参数与课堂的教学内容、调配实例化课堂场景所需要XR应用服务器、调配实例化课堂场景所需要XR应用服务器、设定各教学内容场景的三维成像区间、管理教学内容场景实例的动态生成与销毁，在课堂教学完成时，指令XR应用服务器上的XR应用服务端销毁所有课堂场景实例与教学内容场景实例，用户端模块，用于根据师生用户体验需求，与课堂场景实例或教学内容场景实例建立通信连接，采集师生用户终端的定位数据、互动操作，发送给场景实例，接收场景实例发功过来的沉浸式体验画面，并显示给用户，当用户同时进入多个场景时，用户可以通过用户端模块设置各场景在用户体验空间的三维显示区间，还可以设置场景在用户体验空间呈现的位姿以及缩放比例，所述基于XR技术的沉浸式课堂系统软件被所述系统硬件运行时执行如权利要求1至7任意一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于XR技术的沉浸式课堂构建程序，所述基于XR技术的沉浸式课堂构建程序被处理器运行时执行如权利要求1至7任意一项所述的方法的步骤。
CN202210427227.9A 2022-04-22 2022-04-22 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质 Active CN114998063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210427227.9A CN114998063B (zh) 2022-04-22 2022-04-22 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210427227.9A CN114998063B (zh) 2022-04-22 2022-04-22 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114998063A CN114998063A (zh) 2022-09-02
CN114998063B true CN114998063B (zh) 2023-07-25

Family

ID=83025909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210427227.9A Active CN114998063B (zh) 2022-04-22 2022-04-22 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114998063B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360593B (zh) * 2023-03-10 2023-11-24 深圳职业技术学院 基于xr技术的沉浸式教案系统的教学方法、系统及介质
CN116301368B (zh) * 2023-03-10 2023-12-01 深圳职业技术学院 基于沉浸式xr教学管理平台的教学方法、系统及介质
CN116384661A (zh) * 2023-03-10 2023-07-04 深圳职业技术学院 基于沉浸式xr智慧课堂的教学方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887096A (zh) * 2019-01-24 2019-06-14 深圳职业技术学院 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN113129661A (zh) * 2021-04-09 2021-07-16 大连语境科技有限公司 一种基于vr的多人远程教学系统及其教学方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897426A (zh) * 2020-07-23 2020-11-06 许桂林 一种智能沉浸式场景展现及交互的方法及系统
CN112489507B (zh) * 2020-11-23 2023-04-11 广西水利电力职业技术学院 基于vr与全息投影的大数据融合式智慧教学法
CN215258612U (zh) * 2020-12-30 2021-12-21 上海吉阳信息技术有限公司 一种基于5g+xr智慧课堂制作的云台设备
CN113325949A (zh) * 2021-05-12 2021-08-31 车捷 一种xr产品构成系统
CN114356096B (zh) * 2022-01-10 2022-09-02 深圳职业技术学院 一种基于xr技术的新维度空间构建方法、系统及平台

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887096A (zh) * 2019-01-24 2019-06-14 深圳职业技术学院 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN113129661A (zh) * 2021-04-09 2021-07-16 大连语境科技有限公司 一种基于vr的多人远程教学系统及其教学方法

Also Published As

Publication number Publication date
CN114998063A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114998063B (zh) 一种基于xr技术的沉浸式课堂构建方法、系统及存储介质
CN113242277B (zh) 一种5g网络环境下虚拟同步课堂教学系统及其工作方法
US20200349751A1 (en) Presentation interface and immersion platform
Kurillo et al. 3D teleimmersion for collaboration and interaction of geographically distributed users
CN109887096A (zh) 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN103918012A (zh) 渲染系统、渲染服务器、其控制方法、程序及记录媒体
Müller et al. PanoVC: Pervasive telepresence using mobile phones
CN115830199B (zh) 基于xr技术的泛在实训校园构建方法、系统及存储介质
Leigh et al. Visualization in teleimmersive environments
CN105006011A (zh) 真实感三维场景的体感交互式绘制系统与方法
Ryskeldiev et al. Streamspace: Pervasive mixed reality telepresence for remote collaboration on mobile devices
CN108093245B (zh) 一种多屏融合方法、系统、装置和计算机可读存储介质
CN117390322A (zh) 虚拟空间构建方法、装置、电子设备及非易失性存储介质
CN110794952A (zh) 虚拟现实协同处理方法、装置和系统
Johnson et al. Tele-immersive collaboration in the CAVE research network
CN115423916A (zh) 基于xr技术的沉浸式互动直播构建方法、系统及介质
CN113253965B (zh) 海量数据多视口可视化交互方法、系统、设备及存储介质
CN110837297B (zh) 一种信息处理方法和ar设备
CN114025147A (zh) Vr教学的数据传输方法、系统、电子设备及存储介质
Ishida et al. Proposal of tele-immersion system by the fusion of virtual space and real space
CN115808974B (zh) 沉浸式指挥中心构建方法、系统及存储介质
Mu et al. On the interactive display of virtual aerospace museum based on virtual reality
EP4280226A1 (en) Remote reproduction method, system, and apparatus, device, medium, and program product
JP7364833B1 (ja) Ｗｅｂ会議参加者により３Ｄモデルを共有する装置及びその方法
US11184577B2 (en) Method and device for adjusting multimedia blackboard, medium, and electronic apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant