CN115379278A - 一种基于xr技术沉浸式微课的录制方法及系统 - Google Patents
一种基于xr技术沉浸式微课的录制方法及系统 Download PDFInfo
- Publication number
- CN115379278A CN115379278A CN202210331612.3A CN202210331612A CN115379278A CN 115379278 A CN115379278 A CN 115379278A CN 202210331612 A CN202210331612 A CN 202210331612A CN 115379278 A CN115379278 A CN 115379278A
- Authority
- CN
- China
- Prior art keywords
- teaching
- immersive
- recording
- virtual
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002452 interceptive effect Effects 0.000 claims abstract description 80
- 238000013519 translation Methods 0.000 claims abstract description 54
- 238000004806 packaging method and process Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 19
- 230000010365 information processing Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000012512 characterization method Methods 0.000 claims description 11
- 230000002441 reversible effect Effects 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000008449 language Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000007654 immersion Methods 0.000 abstract description 31
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003562 morphometric effect Effects 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明适用于虚拟现实教学技术改进领域，提供了一种基于XR技术沉浸式微课的录制方法，包括：S1、加载资源并初始化沉浸式教学场景内各对象状态值；S2、调整录课现场到沉浸式教学场景的坐标系旋转平移关系；S3、同步教学人员形态到沉浸式教学场景；S4、更新沉浸式教学场景内各对象状态；S5、记录沉浸式教学动画；S6、将记录生成的教学动画、加载的常规XR互动教学资源与常规多媒体教学资源利用工具打包生成微课资源包。该方法录制微课简单，使用方便，老师可边讲解课程知识边进行微课录制，录制好的微课自动上传至云服务端，学生可通过XR终端随时随地回到沉浸式微课教学场景，身临其境跟随沉浸式场景里的老师进行课程知识的沉浸式互动学习。
Description
技术领域
本发明属于虚拟现实教学技术改进领域，尤其涉及一种基于XR技术 沉浸式微课的录制方法及系统。
背景技术
随着科技的发展，电子设备渐渐运用到教育事业中，如课堂上常常使 用到电脑、投影仪和大屏显示设备等。电子设备的引入便于老师进行备课 和教学，学生可直观、清晰的了解老师的教学内容，提高老师的课堂教学 效率。但是，现有的课堂教学设备中的相关课程知识需要老师预先输入， 而且相关知识点也仅是通过图片进行展示，在课堂上，老师通过PPT切换 等方式将图片一一展示给学生。但是在课堂后，学生即使将老师的课件进 行拷贝，也无法真实重现课堂上教学，如关键知识点讲解、典型学生作业 讲解或问题讲解，学生需要再次询问老师相关的知识点，增大老师的教学 工作量，而且学生也无法在课堂前进行预习，教学效果较差。
旧有的“微课”全称“微型视频课程”，它是以教学视频为主要呈现方 式，围绕学科知识点、例题习题、疑难问题、实验操作等进行的教学过程 及相关资源之有机结合体。“微课”作品特点：1.“微课”核心资源是“微 视频”(教学视频片段)，同时可包含与该教学视频内容相关的“微教案” (教学设计)、“微课件”(教学课件)、“微习题”(练习测试题)、“微反思” (教学反思)等辅助性教与学内容。”时长一般为5分钟左右，建议不超 过10分钟。2.微课件的设计要求短小精悍。
虚拟现实技术(VR)、增强现实技术(AR)、混合现实技术(MR)等 扩展现实技术(XR)是仿真技术的重要方向，是仿真技术与计算机图形学人 机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是富 有挑战性的交叉技术前沿学科和研究领域。XR技术相较于视频、图片等 常规教学资源有更强的教学信息表达能力，有高度的互动能力，用XR技 术如何构建新形态的微课有重要的教学应用研究价值。
发明内容
本发明的目的在于提供一种基于XR技术沉浸式微课的录制方法及系 统，旨在解决上述的技术问题。
本发明是这样实现的，一种基于XR技术沉浸式微课的录制方法，其 特征在于，基于XR技术沉浸式微课录制设备由光电传感器、音频采集设 备、微课录制服务器及显示与互动设备组成，所述基于XR技术沉浸式微 课的录制方法包括以下步骤：
S1、加载常规XR互动教学资源、常规多媒体教学资源及真实教学人 员构建沉浸式教学场景，并初始化沉浸式教学场景内各对象的状态值，其 中沉浸式教学场景是基于XR引擎构建的三维场景，教学人员在此三维场 景开展互动教学；
S2、接收互动输入，调整录课现场到沉浸式教学场景的坐标系旋转平 移关系，从而可较大幅度改变教学人员在沉浸式教学场景内的三维位姿， 使教学人员在沉浸式教学场景内能进行大范围的移动；
S3、将录课现场拍摄的真实教学人员的形态同步到沉浸式教学场景中；
S4、根据接收的数据信息与互动操作指令更新沉浸式教学场景中教学 人员形态的位姿状态以及场景中其它物体的状态；
S5、记录各时刻沉浸式教学场景内所有对象的状态，形成沉浸式教学 动画，并判断是否接到结束录制微课指令，若是，则执行步骤S6，若否， 则判断是否有调整坐标系关系的命令，若是，则返回步骤S2，若否则返回 步骤S3；
S6、把基于XR引擎完整三维重现整个沉浸式教学过程与元素所必须 的微课资源，打包生成微课资源包。
本发明的进一步技术方案是：所述步骤S1中沉浸式教学场景由真实教 学人员与虚拟物体构成，虚拟物体包括虚拟摄像机，虚拟教学工具，以及 常规XR互动教学资源里的虚拟物体，其中虚拟摄像机与录课现场光电传 感器要进行位姿状态同步，虚拟摄像机位姿可表征默认最佳学习位置视角。
本发明的进一步技术方案是：所述步骤S6中微课资源包括记录生成的 沉浸式教学动画、加载的常规XR互动教学资源与常规多媒体教学资源。
本发明的进一步技术方案是：所述步骤S5中沉浸式教学动画由多个动 画通道组成，这些动画通道包括：教学人员动画、教学内容动画、虚拟摄 像机动画、多媒体演示动画、虚拟教学工具动画以及教学语音序列，其中 虚拟摄像机动画为微课默认的最佳学习路径。
本发明的进一步技术方案是：所述步骤S1中在沉浸式教学场景里加载 真实教学人员的方式为：在沉浸式教学场景构建一个教学人员对象，从光 电信息处理模块获得教学人员的真实形态表征并赋值给此教学人员对象， 并初始化教学人员在沉浸式教学场景里的三维位姿值。
本发明的进一步技术方案是：所述步骤S4中，更新沉浸式教学场景中 教学人员位姿值与虚拟摄像机位姿方法为对光电传感器信息处理，实时获 取当前时刻教学人员形态表征以及光电传感器在录课现场坐标系的三维位 姿值，并由当前时刻录课现场坐标系到沉浸式教学场景坐标系的变换关系 进行位姿值变换计算，得到真实教学人员形态表征、虚拟摄像机在沉浸式 教学场景当前时刻的三维位姿值。
本发明的进一步技术方案是：对光电传感器信息处理获得教学人员的 真实形态包含三种形态表征：人像抠图图片、重建的三维人像数据、教学 人员形态表征状态向量，沉浸式教学场景中教学人员对象由三个子对象组 成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维仿真人 像，三个子对象与三种形态表征依次一一对应，三种形态表征数据分别赋 值给对应的教学人员子对象，提供多样化的真实教学人员形态表征。
本发明的进一步技术方案是：所述步骤S2中调整坐标系旋转平移关系 包括正向调整与逆向调整两种方式，在步骤S2中使用单独一种调整方式或 综合运用两种方式完成坐标系变换关系调整，坐标系变换关系包括旋转关 系及平移关系，正向调整设定旋转角度与平移值，或者增大或减小旋转角 度与平移值的互动方式，获得新的旋转平移量；逆向调整通过直接设定位 姿值或增大减小位姿值的互动操作方式，先获得教学人员在沉浸式教学场 景里的位姿，再根据位姿反推计算得到坐标系的旋转平移值。
本发明的进一步技术方案是：所述步骤S1具体为初始化沉浸式教学空 间，包括加载常规XR互动教学资源、常规多媒体教学资源、真实教学人 员，以及初始设置沉浸式教学场景内各对象的状态值,教学人员的加载需 要在沉浸式教学场景内构建一个教学人员对象，此教学人员对象由三个子 对象组成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维 仿真人像，初始设置沉浸式教学场景内各对象值包括对常规XR互动教学 资源各虚拟物体状态、虚拟教学工具状态、虚拟显示屏上多媒体演示状态， 调用默认值或手动进行这些状态值的初始化设置，虚拟教学工具包括虚拟 教鞭、虚拟书写笔、虚拟显示屏，设定录课现场到沉浸式教学场景的坐标 系旋转平移变换关系的初始值，对光电传感器获得的信息处理，获得教学 人员形态表征在录课现场的位姿值，此位姿值进行坐标系旋转平移变换计 算，得到教学人员形态表征在沉浸式教学场景中的初始位姿；所述步骤S3 具体为在任意当前时刻，把对光电传感器信息处理实时生成的人像图片、 重建的三维人像数据、教学人员形态表征状态向量，传送到沉浸式教学场 景，把它们分别赋值给人物对象里对应的子对象；所述步骤S4具体为接收 包括语音、人的手势、肢体语言、表情、以及输入设备或XR终端发送过 来的互动操作命令，实现教学人员与教学内容的互动，在此基础上更新教 学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体 播放状态、常规XR互动教学资源内各虚拟物体状态等；所述步骤S5记录 沉浸式教学动画具体包括：记录教学人员动画帧数据，帧数据包含教学人 员形态表征数据与教学人员形态表征在沉浸式教学场景里的位姿值，记录 虚拟摄像机动画帧数据，帧数据为虚拟摄像机位姿值，记录虚拟教鞭动画 帧数据，帧数据包含虚拟教鞭的位姿值以及需要高亮或取消高亮的虚拟物体，记录虚拟书写笔帧数据，帧数据包括书写比位姿值、选择的颜色、笔 记粗细、以及开始书写或停止书写状态，记录虚拟教学显示屏动画帧数据， 帧数据只包含虚拟显示屏位姿数据，记录多媒体演示状态帧数据，帧数据 包含演示文件类型、文件名以及文件的演示状态，记录当前教学内容动画 帧数据，帧数据包含常规XR互动教学资源里各虚拟物体的状态参数值， 记录教学语音序列帧数据，帧数据为在当前时刻开始的语音片段；所述步 骤S6具体为把从步骤S5记录生成的各通道动画，以及步骤S1加载的常规 XR互动教学资源与常规多媒体教学资源，用工具把它们打包生成一个微 课资源包。
本发明的另一目的在于提供一种基于XR技术沉浸式微课的录制系统， 其特征在于，基于XR技术沉浸式微课录制设备由光电传感器、音频采集 设备、微课录制服务器及显示与互动设备组成，所述基于XR技术沉浸式 微课的录制系统包括
光电信息处理模块，用来提取人员形态表征，包括能分割出人像，进 行三维重建获得三维人像，计算出人体骨骼运动状态、人脸表情等形态表 征状态向量；其次，通过视觉计算获取光电传感器、教学人员在录课现场 的位姿(位置与姿态角)信息；然后，会进行教学人员手势、肢体语言、 人脸表情与视觉互动命令的匹配计算，生成教学互动输入。
音频处理模块，用来提取教学人员在录课现场的教学语音。
初始化设置模块，用于加载常规XR互动教学资源、常规多媒体教学 资源及教学人员并初始化设置沉浸式教学场景内各对象的状态值；
旋转平移模块，用于接收互动输入调整录课现场到沉浸式教学场景的 坐标系旋转平移关系，使教学人员在沉浸式教学场景内能进行大范围的移 动；
同步赋值模块，用于将教学人员的形态表征数据同步到沉浸式教学场 景中的人物对象并赋值给人物对象相应子对象；
更新状态模块，用于根据接收的数据信息与互动操作指令更新虚拟场 景中教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规 多媒体播放状态、常规XR互动教学资源内各虚拟物体状态；
记录判断模块，用于记录各个通道动画在各时刻记录的帧数据形成的 帧序列并判断是否接到结束录制微课指令，若是，则执行打包模块，若否， 则判断是否有调整坐标系关系的命令，若是，则调整坐标系关系并返回旋 转平移模块，若否则返回同步赋值模块；
打包模块，用于将记录生成的各通道动画与加载的常规XR互动教学 资源与常规多媒体教学资源利用工具打包生成微课资源包。
本发明的有益效果是：该方法录制微课简单，使用方便，老师可边讲 解边进行微课录制，本方法录制微课生成的不是视频，而是基于XR技术 的沉浸式教学动画，它能完整三维还原老师在沉浸式教学场景里的教学活 动，录制好的微课上传至云端后，学生可通过XR终端随时随地回到沉浸 式微课教学场景，身临其境跟随沉浸式教学场景里的老师进行课程知识的 沉浸式互动学习。使用此沉浸式微课录制方法和系统，老师可以便利地对 常规XR互动教学资源进行二次加工，灵活生成适配多变教学需求的沉浸 式教学资源。
附图说明
图1是本发明实施例提供的沉浸式教学场景示意图。
图2是本发明实施例提供的沉浸式微课资源使用示意图。
图3是本发明实施例提供的沉浸式微课录制系统示意图。
图4是本发明实施例提供的微课录制软件系统示意图。
图5是本发明实施例提供的录课系统运行主流程示意图。
具体实施方式
如图1-5所示，本发明提供的基于XR技术沉浸式微课的录制方法， 其详述如下：
扩展现实技术(XR)技术是对虚拟现实(VR)、增强现实(AR)、混合现 实(MR)等技术的综合。在XR技术构建的沉浸式教学环景里开展教学，能 使学生对知识进行更深层次学习，能提高学生对知识的长期记忆留存率。 在微课的基础理念基础上，基于XR技术，给出一种沉浸式微课，在这个 基础上设计了沉浸式微课录制和播放系统。
沉浸式微课，是指运用扩展现实技术(XR)按照认知规律，呈现碎片 化学习内容、过程及扩展素材的结构化沉浸式数字教学资源。沉浸式微课 的核心组成内容是基于沉浸式教学环境的教学动画(课例片段)，同时还 包含与该教学主题相关的教学设计、常规XR互动教学资源、教学反思、 练习测试及学生反馈、教学人员点评等辅助性教学资源，它们以一定的组 织关系和呈现方式共同“营造”了一个半结构化、主题式的资源单元应用 “沉浸式教学小环境”。
本发明沉浸式微课与传统微课的区别在于：传统微课以视频文件为核 心记录教学活动，只记录了教学活动某个或若干个方位的画面，不能完整 记录教学活动信息，更不能提供沉浸式体验；而本发明的沉浸式微课以生 成教学三维(3D)动画的方式，全方位记录了整个教学活动，学生基于 XR终端，可以沉浸式参与微课里的教学活动，对微课内容进行沉浸式学 习。
在某些文献中也把呈现知识片段的直接开发的常规XR互动教学资源 称为微课，本发明的沉浸式微课与之的区别为：本发明的沉浸式微课不是 直接开发的常规XR互动教学资源，是教学人员用已开发的常规XR互动 教学资源在开展教学过程中，录制生成，是教学人员根据教学规律与需求， 对已开发的常规XR互动教学资源的二次加工。
(一)沉浸式微课
本发明给出一种基于XR技术的沉浸式微课，此沉浸式微课记录了教 师在XR技术构建的沉浸式教学场景里对碎片化知识内容进行讲授的活动， 形成了以教学三维动画为核心的数字化教学资源，学习人员可以使用XR 终端身临其境微课内容所在的沉浸式教学场景，沉浸式获取教师对知识内 容的讲授，并在沉浸式教学场景内使用微课所包含的互动教学资源进行虚 拟实操等教学互动。
下文分别对XR技术构建的沉浸式教学场景，沉浸式微课的数字资源 构成以及教学人员对沉浸式微课资源的使用方式进行说明。
1.XR技术构建的沉浸式教学场景
以Unity与Unreal为代表的XR引擎能构建虚拟或虚实结合场景，本 发明基于XR引擎构建沉浸式教学场景。如图1所示，沉浸式教学场景基 本组成为真实教学人员，常规XR互动教学资源，虚拟摄像机，以及虚拟 教学工具等。虚拟互动教学工具可以包含虚拟教鞭、虚拟书写笔、虚拟教 学显示屏等，虚拟教学显示屏可以用来在沉浸式教学环境里播放ppt、视频、图片等常规多媒体资源。
如图1所示，教学人员可以在沉浸式教学环境的三维空间里移动，如 图1中(a)→图1(b)所示,教学人员走到虚拟物体后面，被遮挡，教学人员可 以与表征教学内容的虚拟物体进行互动，如图1(b)→图1(c)所示，虚拟物 体发生了旋转，可以在沉浸式教学环境开展教学活动，学生通过XR终端 进入到此沉浸式环境里对微课内容进行学习，如图1(d)所示。
2.沉浸式微课数字资源构成
沉浸式微课数字资源基本构成包括教学三维动画、常规XR互动教学 资源以及常规多媒体教学资源，其中教学三维动画是核心。常规XR互动 教学资源，指的是开发人员根据课程知识点开发出来三维教学资源，能提 供课程内容浏览漫游、虚拟实操、考核等功能；教学三维动画，指的是教 学人员使用常规XR互动教学资源开展教学，录制此教学活动过程而生成 的三维动画。微课资源包里所有内容都可以在XR引擎里使用，提供沉浸 式体验。用户在沉浸式环境里观看教学动画，同时可以调用XR互动教学 资源进行自主知识浏览(例如，旋转代表课程的虚拟物体，全方位了解物体 的形状与构成)以及实操等操作，观看完微课教学动画以及实操后，在沉浸 式教学环境里可进行虚拟实操考核，及时反映微课学习效果。
三维教学动画是本发明沉浸式微课的核心数字资源，教学人员录制课 堂教学动画过程往往是一个精益求精，反复打磨的过程。为了提高录制的 便利性，三维教学动画由多个通道的动画组成，从而可以在保留部分通道 已录制动画不变的情况下，对单个或多个通道的动画重新录制。同时，为 了提供多样化的教学人员形态表现，本发明的沉浸式微课教学人员动画通 道包含多个层级的形态表征。
沉浸式微课教学动画由教学人员动画、教学内容动画、虚拟摄像机动 画、多媒体演示动画、虚拟教学工具动画以及教学语音序列等通道组成。 下文对动画的每个通道分别介绍。
2.1.教学人员动画
把教学人员的实时形态状态数据赋值给沉浸式教学场景的教学人员对 象上，形态状态数据包括人像抠图图片、重建的三维人像数据、教学人员 形态表征状态向量，微课录制系统在录课现场坐标系到沉浸式教学场景坐 标系旋转平移关系下，把录课现场教学人员的形态状态数据同步到沉浸式 教学场景的教学人员对象上，通过调整现场坐标系到沉浸式教学场景坐标 系旋转平移关系，可以实现教学人员在沉浸式教学场景内的大范围转场与 大幅度转身，记录教学人员在沉浸式教学场景里的各时刻的形态状态数据 与位姿数据，就录制生成了教学人员在沉浸式教学场景里的教学活动动画。
教学人员形态表征状态向量为对教学人员实时视觉计算识别出人体骨 骼的旋转运动、表情变化等，市面上realsense、kinect等深度或体感相机sdk 提供相关计算功能，教学人员形态表征状态向量可以在沉浸式教学场景里 绑定虚拟教学人物模型，用来驱动虚拟教学人员活动。教学人员及形态表 征的位姿参数，在本发明中只有4个自由度，分别是3个自由度的位置参 数与1个自由度的转身角度参数。
教学人员用Oteacher表示，在任意时刻tj，用
表示抠像出来的人像图片， 用
表示重建出来的三维人像，用
表示识别出来的形态表征状态向量， 用
表示教学人员形态表征在沉浸式教学 场景里的位置，用变量
表示教学人员形态表征前后转身旋转角度。 由此，教学人员每帧数据可以表示为
教学人员动画可以表示为帧序列：
2.2.虚拟摄像机动画
教学人员录制微课时，以录课现场的光电传感器为假想的学生，开展 教学活动，微课录制系统在录课现场坐标系到沉浸式教学场景坐标系旋转 平移关系下，把光电传感器的位姿同步到沉浸式教学场景里的虚拟摄像机 上，此虚拟摄像机在沉浸式教学场景里的移动路径与视角就是此沉浸式微 课最佳学习路径与视角。其中，学习路径的移动与视角变化包含，录课现 场光电传感器的位移与旋转，以及录课现场坐标系到沉浸式教学场景坐标 系旋转平移关系的调整。
虚拟摄像机用Ocamera表示。每帧数据记录虚拟摄像机的位姿，虚拟摄像 机位姿只用5个自由度，其中位置3个自由度，用 
表示；姿态角只有2个自由度，光电传感 器只能前后旋转与俯仰、不允许翻滚，用
表示， 
表示俯仰，
表示前后旋转。则虚拟摄像机单帧状态数据可表示 为
虚拟摄像机动画可以表示为帧序列：
2.3.虚拟教学工具动画
虚拟教学工具动画用来记录虚拟教学工具的使用过程，例如虚拟教鞭 包含教鞭的位置与指向，以及需要高亮的虚拟物体对象。虚拟教学工具包 括教鞭、书写笔、虚拟显示屏等。
虚拟教鞭动画每帧数据包含教鞭位姿、是否开启或结束对虚拟物体的 高亮，以及高亮的物体对象。虚拟书写笔每帧数据包含笔的位姿，选择的 颜色，笔迹粗细，以及开始书写或停止书写状态等。虚拟显示器动画每帧 数据只包含位姿，显示器演示的内容另外用多媒体演示动画表征。
令虚拟教鞭、虚拟书写笔、虚拟显示屏分别用opointer、open、odisplay表示， 虚拟教学工具集用Otool＝{opointer open odisplay…}表示。
虚拟教鞭位姿只用5个自由度，其中位置3个自由度，用
表示；姿态角2个自由度，虚拟教鞭只需 旋转与俯仰、不需要翻滚，用
表示；开启或结束对 虚拟物体的高亮用
表示，其中
取值为0或1，
表示某虚 拟物体，当
时，表示高亮虚拟物体
当
时，表示取消对虚拟 物体
的高亮。由此，在时刻tj，虚拟教鞭动画帧数据为
其中
可以为空，为空时表示没有 新的高亮或取消高亮操作。则虚拟教鞭动画可以表示为帧序列：
虚拟书写笔每帧数据包含笔的位姿，选择的颜色，笔迹粗细，以及开 始书写或停止书写等。虚拟书写笔也只用5个自由度，其中位置3个自由 度，用
表示；姿态角只有2个自由度，只需旋转 与俯仰、不需要翻滚，用
表示；开始书写或结束书写用
表示，其中
取值为0或1，当
时，表示为书写状态，当
时， 表示停止书写。用
表示书写颜色，用
表示书写笔迹大 小。由此，在时刻tj，虚拟书写笔动画帧数据为
则虚拟书写笔动画可以表示为帧序列：
虚拟显示器动画每帧数据只包含位姿，显示器演示的内容另外用多媒 体演示动画表征。虚拟显示器也只用5个自由度，其中位置3个自由度， 用
表示；姿态角只有2个自由度，只需旋 转与俯仰、不需要翻滚，用
表示。由此，在时刻tj， 虚拟显示器动画帧数据为
则虚拟显示器动画可 以表示为帧序列：
2.4.多媒体演示动画
多媒体演示动画是记录虚拟显示屏上PPT、视频、图片等的演示过程。 每帧数据包含当前演示多媒体资源的类型、名字、以及此多媒体资源的演 示状态。
演示用的多媒体文件集合表示为
演示文件类型用 变量ρ表示，取值0、1、2等，其中ρ＝0表示文件类型为图片，ρ＝1表示 文件类型为视频，ρ＝2表示文件类型为PPT。用η表示为文件名，用Vmedia表 示演示状态，Vmedia含有多个数据位可以记录PPT当前页码，也可以记录视 频当前播放进度等。则多媒体演示动画帧数据可以表示为
则多媒体演示动画可以表示为帧序列：
2.5.教学内容动画
教学内容动画是在教学过程中记录互动教学资源里虚拟物体状态参数 变化所形成的动画，此动画体现教学内容的知识点。互动教学资源里的虚 拟物体可以是零件、单个设备、子系统、总系统等，虚拟物体由三维模型、 纹理、表示物体功能与运行逻辑的程序脚本等组成。其中状态参数可以是 最基础的位姿参数，也可以是高阶一些的状态参数(例如，场景中的虚拟 人，可以用一个运动参数，表征当前是处在奔跑、散步、禁止等不同状态)，教学内容动画很常见，具体可以参考unity、unreal等XR引擎的动画格式。
令互动教学资源里包含虚拟物体集合为
任意虚体 物体ok包含的状态参数集合用
表示，因此，教学内容 动画在时刻tj，帧数据为
教学内容动画就可以表示 此帧数据的序列：
2.6.教学语音序列
若任意语音片段在时间tj开始，则在时间tj帧数据为
则 教学语音序列可以表示为：
教学语音序列里，部分帧的
为空，这不一定意味为空的时间段没有 播放语音音频，而是可能没有播放新的语音音频，但原有播放的语音音频 还在继续播放。
总之，完整的沉浸式微课资源包主要构成为：常规XR互动教学资源、 常规多媒体教学资源、教学人员动画、虚拟教学工具动画、虚拟摄像机动 画、常规多媒体演示动画、教学内容动画、教学语音序列。
3.沉浸式微课资源的使用方式
XR引擎对沉浸式微课数字资源包解析，获得常规XR互动教学资源与 常规多媒体教学资源，以及教学人员动画、虚拟摄像机动画等各通道动画， 由此还原此微课对应的沉浸式教学场景。沉浸式微课资源可以提供不同的 XR学习体验，具体为：
1)不同程度加载虚拟摄像机动画，使用户有不同程度的体验自由度。
程度1：加载虚拟摄像机动画，从而使学生学习的路线与视角与虚拟 摄像机位移视角完全同步，某种意义上学生处在默认最佳学习视角；程度 2：只加载虚拟摄像机动画的位移分量，但不加载视角，由此学生会跟随虚 拟摄像机动画到默认的学习位置，但观看的视角由学生自主；程度3：不 加载虚拟摄像机动画，完全由学生根据老师在沉浸式教学环境里的教学活 动，由学生自主调整位姿观看教学。虽然增加学生自主空间不能确保学习 路线与视角一直最佳，但可以让学生获得更多的参与感和沉浸感。
2)微课可以选择加载不同教学人员形态获得不同的学习体验，包括人 像抠图、三维重建的人像以及人员形态表征状态向量，其中形态表征状态 向量须配套虚拟人物模型使用。
(二)微课录制系统
本发明沉浸式微课录制系统由硬件设备与软件组成。
如图3所示，硬件设备主要组成有：光电传感器、音频采集设备、微 课录制服务器、显示与互动设备组成。各硬件功能如下：
1)光电传感器可以选用kinect、realsense等RGBD相机。光电传感器 同时采集可见光图像以及表征景深的深度图像，并把采集到的图像实时传 送给微课录制服务器。
2)音频采集设备采集教学人员教学语音音频，可选用耳麦、话筒等。
3)微课录制服务器选用图形工作站，需要用来进行图像、语音信息处 理、计算沉浸式教学场景状态以及图形的渲染等工作。
4)显示与互动设备可以选用大显示屏、手机、XR头显/头盔、键盘鼠 标、手柄等，用来实时把沉浸式教学效果显示出来，以及用来进行教学互 动。其中，手机、XR头显/头盔可以使用无线串流的方式获取服务器渲染 出的沉浸式教学画面。
在这些硬件的基础上，安装在微课录制服务器上的微课录制软件主要 由光电信息处理、音频信息处理、沉浸式教学微课录制引擎，沉浸式微课 打包工具4个功能模块组成。软件系统如图4所示，下文将详细介绍各模 块的具体功能。
1)光电信息处理模块
光电信息处理模块读取光电处理器采集的彩色图像与深度图像信息， 市面上常见深度相机的sdk以及opencv的sdk提供了丰富的图像信息处理 功能。在此基础上，本发明的光电信息模块首先提取人员形态信息，包括 能分割出人像(俗称抠图)，进行三维重建获得三维人像，计算出人体骨 骼运动状态、人脸表情等形态表征参数信息；其次，通过视觉计算获取光 电传感器、教学人员在录课现场的位姿(位置与姿态角)信息；然后，会 进行教学人员手势、肢体语言、人脸表情与视觉互动命令的匹配计算；最 后，会把人员形态信息、位姿信息、视觉互动命令发送到沉浸式微课录制 引擎。
2)音频处理模块
音频处理模块采集教学人员在录课现场的教学语音，市面上的语音sdk 能对声音进行去噪、提取、语音识别等处理。基于此，本发明音频处理模 块首先提取教学人员语音片段，进行时间标注，形成语音序列，发送到沉 浸式微课打包工具；其次，语音识别获得符号化的语句，语句与互动语音 命令匹配，将匹配出的语音互动命令发送到沉浸式微课录制引擎。
3)沉浸式微课录制引擎
沉浸式微课录制引擎以XR引擎功能为基础，提供如下功能：加载XR 互动教学资源与常规的多媒体课件资源；在一定的坐标系旋转平移关系下， 把录课现场的教学人员、光电传感器位姿、互动设备操控信息同步到沉浸 式教学场景里；接收视觉互动命令、语音互动命令以及常规互动输入等， 实时计算场景里各对象的当前状态；记录各对象当前状态，形成不同通道 的动画；微课画面实时渲染。
令录制现场坐标系用Ψreal表示，以录课现场地面为x轴z轴所共的平面， 地面垂直向上为y轴方向。沉浸式教学空间坐标系用Ψimmersive表示，沉浸式 教学场景地面为x轴z轴所共的平面，地面垂直向上为y轴方向。本发明， 限定坐标系之间旋转只能绕地面垂直方向进行旋转(如果不如此限定，在 沉浸式场景里，教学人员身姿可能是倾斜的)，所以Ψreal到Ψimmersive旋转平 移关系用地面垂直方向旋转角度向量β与平移向量[px py pz]表示，两个 坐标系之间坐标位置变换关系用旋转平移矩阵H表示，如下式所示：
令C＝[cx cy cz]为录课现场直角坐标系下任意点，则此点在沉浸式教 学场景内位置W＝[wx wy wz]可由下式计算得到。
令C′＝[cx cy cz 1]T、W′＝[wx wy wz 1]T，则W′＝HC′。
对于任意时刻tj，若已知坐标系旋转平移关系，其中旋转向量为
平移 量为
把旋转平移向量代入式(1)，可得录课现场到沉浸式教 学场景坐标系旋转平移变换关系矩阵
光电信息处理单元计算得到教学人员在录课现场坐标系下位置为：
转身旋转角为：
则教学人员在 沉浸式教学场景位置参数
和转身旋转角 度
可由下式计算出来。
光电信息处理单元计算得到光电信息传感器在录课现场下位置为
姿态角为
则有：
微课录制引擎由如下多个模块构成：
①初始化设置模块，用于加载XR互动教学资源、常规多媒体教学 资源及教学人员，并初始化设置沉浸式教学场景内各对象的状态值；
②旋转平移模块，用于接收互动输入调整录课现场到沉浸式教学场 景的坐标系旋转平移关系，使教学人员在沉浸式教学场景内能进行大范围 的移动；
③同步赋值模块，用于将教学人员的形态表征数据同步到沉浸式教 学场景中的人物对象并赋值给人物对象相应子对象；
④更新状态模块，用于根据接收的数据信息与互动操作指令更新虚 拟场景中教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、 常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态；
⑤记录判断模块，用于记录各个通道动画在各时刻记录的帧数据形 成的帧序列并判断是否接收到结束录制微课指令，若是，则执行打包模块， 若否，则判断是否有调整坐标系关系的命令，若是，则返回旋转平移模块， 若否则返回同步赋值模块；
4)沉浸式微课打包工具
利用XR引擎自带或其它打包工具，把XR互动教学资源、常规多媒 体教学资源、教学人员动画、教学内容动画、虚拟摄像机动画、虚拟教学 工具动画、多媒体演示动画、教学语音音频序列等打包到一起，生成一个 沉浸式微课资源包。
(三)沉浸式微课录制方法
如图5所示，沉浸式微课录制具体主要流程如下：
步骤1.沉浸式教学场景初始化
本发明微课的沉浸式教学场景默认自带虚拟教学工具与虚拟摄像机， 在此基础上，本步骤进一步完成XR互动教学资源、常规多媒体教学资源、 教学人员的加载，以及初始设置沉浸式教学场景内各对象的状态值。
其中，场景对教学人员的加载方法为：在场景里构建一个教学人员对 象，此教学人员对象由三个子对象组成，三个子对象分别为人像抠像图片、 三维重建的人像、虚拟三维仿真人像。人像抠像图片、三维重建人像、虚 拟三维仿真人像的形态表征状态向量从光电信息处理模块加载得到。虚拟 三维仿真人像为场景默认自带。
本步骤设置沉浸式教学场景内各对象的初始状态值。其中，对XR互 动教学资源各虚拟物体状态、虚拟教学工具状态、虚拟显示屏上多媒体演 示状态调用默认值或手动进行初始化设置。设定录课现场坐标系到微课坐 标系旋转平移关系初始值，对光电传感器采集的信息进行处理，得到教学 人员形态表征及形态表征在录课现场的位姿值，根据坐标系之间的旋转平 移关系计算得到教学人员形态表征在沉浸式教学场景坐标系里的坐标值， 同样由此坐标系旋转平移关系，根据光电传感器在录课现场坐标系的坐标 值进行变换计算，可得到沉浸式教学场景内虚拟摄像机位姿值。
令沉浸式教学场景用S表示，S中默认自带虚拟教学工具集合 Otool＝{opointer openodisplay…}以及虚拟摄像机ocamera，加载常规XR互动教学资 源
和常规多媒体教学资源
为教学人 员在场景里生成人物对象，用Oteacher表示，对于教学人员，它由三个子对象 组成，
分别为人像图片、三维重建的人像、 虚拟三维仿真人像，在场景里教学人员对象的三个子对象可以通过切换选 择显示。
调用默认值完成教学工具状态初始化，也就是明确初始时间t0时刻， 虚拟教鞭状态值
虚拟书写笔状态值 
虚拟电子显示屏位姿状态值 
根据教学计划，设置常规XR互动教学资源初始状 态
以及设置虚拟显示屏多媒体教学资源演示初 始状态
设定初始时刻坐标系旋转平移关系，其中旋转向量为
平移量为
把旋转平移向量代入式(1)，可得旋转平移矩阵
光电信息处理单元计算得到教学人员形态表征在录课现场坐标系下位 置为
转身姿态角为
则由式(3) 和(4)计算得到教学人员在沉浸式场景里位姿如下：
光电信息处理单元计算得到光电传感器在录课现场下位置为
姿态角为
则在t0时刻，根据式(5)和式(6)计算得到虚拟摄像机在沉浸式教学场 景内位姿为：
由此完成初始化沉浸式教学场景的初始化。
步骤2.调整录课现场到沉浸式教学场景的坐标系旋转平移关系
本步骤接收互动输入，调整录课现场到沉浸式教学场景坐标系旋转平 移关系，使教学人员在沉浸式教学场景里大范围的移动。调整坐标系旋转 平移关系正向调整与逆向调整两种方式。本步骤可以单独使用其中一种调 整方式或综合运用两种调整方式完成坐标系变换关系的调整。坐标系变换 关系包含旋转关系与平移关系，正向调整直接设定旋转角度与平移值，也 可通过增大或减小旋转与平移值的互动方式，获得新的旋转平移量。逆向 调整是通过直接设定位姿值或增大减小位姿值的互动操作方式，先获得教 学人员在沉浸式教学场景里的位姿，然后再反推计算得到坐标系的旋转平 移值。
正向调整能很直接获取
平移向量
以及平移旋转矩 阵
逆向获取旋转平移关系具体为，已知在任意时刻tj，调整教学人员 在沉浸式教学场景里的位姿后，其位置与姿态角分别为 
和
在录课现场位置实时计算得到 的位置与姿态角分别为
和
则由式(1)、(3)、(4)可计算得到：
坐标系旋转角度
坐标系平移量为：
由此得到旋转平移关系矩阵
步骤3.同步教学人员形象到沉浸式教学场景
在任意时刻tj，光电信息处理单元实时生成的人像图片
重建的三 维人像数据
教学人员形态表征状态向量
传送到沉浸式教学场景， 把它们分别复制给人物对象的子对象，
人物虚拟模 型
的形态状态向量值为
步骤4.更新场景内各对象状态
本步骤接收包括语音、人的手势、肢体语言、表情、以及输入设备或 XR终端发送过来的互动操作命令，实现教学人员与教学内容的互动，在 此基础上更新教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状 态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态等。 令当前时刻为tj，具体计算各对象当前状态如下。
1)更新教学人员位姿状态
从光电信息处理模块，读取教学人员在录课现场的实时位姿
和
根据坐标系旋转角度βj和旋转 平移变换矩阵
计算得到
2)更新虚拟摄像机位姿状态
从光电信息处理模块，读取虚拟摄像机在录课现场的实时位置
与姿态角
根据 坐标系旋转角度βj和旋转平移变换矩阵
计算得到在当前时刻虚拟摄像 机位姿状态为：
3)更新虚拟教学工具状态
虚拟教学工具要与真实录课现场的虚拟教学工具控制器进行状态同步， 其中虚拟教学控制器是XR头显等终端的手柄控制器或者用户的手势。XR 终端通过自身定位系统获得在录课现场的教学工具控制器的实时位姿数据。 然后根据坐标系旋转平移关系，计算得到虚拟教学工具位姿。其中虚拟教 鞭将根据教鞭方向射线与常规XR教学资源里的虚拟物体碰撞，将选择此 物体，在此基础上可以高亮此物体或取消此物体的高亮。
由此可以获得tj时刻，虚拟教鞭状态为
虚拟书写笔状态为
虚拟显示屏状态为
4)更新多媒体演示状态
根据当前的更换多媒体文件以及ppt翻页等操作，生产虚拟显示屏上 演示的常规多媒体教学内容状态
5)常规XR互动教学资源虚拟物体状态
接收XR终端的互动操作输入，根据前面时刻的状态，在教学资源自 带的运行逻辑下，计算常规XR互动教学资源虚拟物体状态 
步骤5.记录沉浸式教学动画
1)记录教学人员动画帧数据：
2)记录虚拟摄像机动画帧数据：
3)记录虚拟教学工具动画帧数据，包括：
虚拟教鞭
虚拟书写笔
虚拟教学显示屏
4)记录多媒体演示状态帧数据：
5)记录当前教学内容动画帧数据：
6)记录教学语音序列数据
询问语音音频处理模块，如果有产生新的语音片段，则记录此语音片 段与此片段开始时间。若语音片段
在时间tj开始，则记录帧数据为 
各通道动画就是在各时刻记录的帧数据形成的帧序列。
如果接收到结束微课录制的命令，将进入步骤6，否则判断是否有调 整坐标系关系的命令，如果要调整坐标系关系，就进入步骤2，否则进入 步骤3。
步骤6.打包
从步骤5记录生成的各通道动画，以及步骤1加载的常规XR互动教 学资源与常规多媒体教学资源，用工具把它们打包生成一个微课资源包。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
Claims (10)
1.一种基于XR技术沉浸式微课的录制方法，其特征在于，基于XR技术沉浸式微课录制设备由光电传感器、音频采集设备、微课录制服务器及显示与互动设备组成，所述基于XR技术沉浸式微课的录制方法包括以下步骤：
S1、加载常规XR互动教学资源、常规多媒体教学资源及真实教学人员构建沉浸式教学场景，并初始化沉浸式教学场景内各对象的状态值，其中沉浸式教学场景是基于XR引擎构建的三维场景，教学人员在此三维场景内开展互动教学；
S2、接收互动输入，调整录课现场到沉浸式教学场景的坐标系旋转平移关系，从而可较大幅度改变教学人员在沉浸式教学场景内的三维位姿，使教学人员在沉浸式教学场景内能进行大范围的移动；
S3、将录课现场拍摄的真实教学人员的形态同步到沉浸式教学场景中；
S4、根据接收的数据信息与互动操作指令更新沉浸式教学场景中教学人员形态的位姿状态以及场景中其它物体的状态；
S5、记录各时刻沉浸式教学场景内所有对象的状态，形成沉浸式教学动画，并判断是否接收收到结束录制微课指令，若是，则执行步骤S6，若否，则判断是否有调整坐标系关系的命令，若是，则返回步骤S2，若否则返回步骤S3；
S6、把基于XR引擎完整三维重现整个沉浸式教学过程与元素所必须的微课资源，打包生成微课资源包。
2.根据权利要求1所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S1中沉浸式教学场景由真实教学人员与虚拟物体构成，虚拟物体包括虚拟摄像机，虚拟教学工具，以及常规XR互动教学资源里的虚拟物体，其中虚拟摄像机与录课现场光电传感器要进行位姿状态同步，虚拟摄像机位姿可表征最佳学习位置视角。
3.根据权利要求2所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S6中微课资源包括记录生成的沉浸式教学动画、加载的常规XR互动教学资源与常规多媒体教学资源。
4.根据权利要求3所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S5中沉浸式教学动画由多个动画通道组成，多个所述动画通道包括：教学人员动画、教学内容动画、虚拟摄像机动画、多媒体演示动画、虚拟教学工具动画以及教学语音序列，其中虚拟摄像机动画为微课默认的学习路径。
5.根据权利要求4所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S1中在沉浸式教学场景里加载真实教学人员的方式为：在沉浸式教学场景构建一个教学人员对象，对光电传感器获取的信息进行处理获得教学人员的真实形态表征并赋值给所述教学人员对象，并初始化所述教学人员对象在沉浸式教学场景里的三维位姿值。
6.根据权利要求5所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S4中，更新沉浸式教学场景中教学人员位姿值与虚拟摄像机位姿值方法为对光电传感器获取的信息进行处理，实时获取当前时刻教学人员形态表征以及光电传感器在录课现场坐标系的三维位姿值，并由当前时刻录课现场坐标系到沉浸式教学场景坐标系的旋转平移变换关系进行位姿值变换计算，得到真实教学人员形态表征、虚拟摄像机在沉浸式教学场景当前时刻的三维位姿值。
7.根据权利要求6所述的基于XR技术沉浸式微课的录制方法，其特征在于，对光电传感器获取的信息进行处理，得到教学人员的真实形态包含三种形态表征：人像抠图图片、重建的三维人像数据、教学人员形态表征状态向量，沉浸式教学场景中教学人员对象由三个子对象组成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维仿真人像，三个子对象与三种形态表征依次一一对应，三种形态表征数据分别赋值给对应的教学人员子对象，提供多样化的真实教学人员形态表征。
8.根据权利要求7所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S2中调整坐标系旋转平移关系包括正向调整与逆向调整两种方式，在步骤S2中使用单独一种调整方式或综合运用两种方式完成坐标系变换关系调整，坐标系变换关系包括旋转关系及平移关系，正向调整设定旋转角度与平移值，或者增大或减小旋转角度与平移值的互动方式，获得新的旋转平移量；逆向调整通过直接设定位姿值或增大减小位姿值的互动操作方式，先获得教学人员在沉浸式教学场景里的位姿，再根据位姿反推计算得到坐标系的旋转平移值。
9.根据权利要求8所述的基于XR技术沉浸式微课的录制方法，其特征在于，所述步骤S1具体为初始化沉浸式教学空间，包括加载常规XR互动教学资源、常规多媒体教学资源、真实教学人员，以及初始设置沉浸式教学场景内各对象的状态值,教学人员的加载需要在沉浸式教学场景内构建一个教学人员对象，此教学人员对象由三个子对象组成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维仿真人像，初始设置沉浸式教学场景内各对象值包括对常规XR互动教学资源各虚拟物体状态、虚拟教学工具状态、虚拟显示屏上多媒体演示状态，调用默认值或手动进行这些状态值的初始化设置，虚拟教学工具包括虚拟教鞭、虚拟书写笔、虚拟显示屏，设定录课现场到沉浸式教学场景的坐标系旋转平移变换关系的初始值，对光电传感器获得的信息进行处理，获得教学人员形态表征在录课现场的位姿值，此位姿值进行坐标系旋转平移变换计算，得到教学人员形态表征值在沉浸式教学场景中的初始位姿；所述步骤S3具体为在任意当前时刻，把对光电传感器获取的信息进行处理，实时生成的人像图片、重建的三维人像数据、教学人员形态表征状态向量，传送到沉浸式教学场景，把它们分别赋值给人物对象里对应的子对象；所述步骤S4具体为接收包括语音、人的手势、肢体语言、表情、以及输入设备或XR终端发送过来的互动操作命令，实现教学人员与教学内容的互动，在此基础上更新教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态等；所述步骤S5记录沉浸式教学动画具体包括：记录教学人员动画帧数据，帧数据包含教学人员形态表征数据与教学人员形态表征在沉浸式教学场景里的位姿值，记录虚拟摄像机动画帧数据，帧数据为虚拟摄像机位姿值，记录虚拟教鞭动画帧数据，帧数据包含虚拟教鞭的位姿值以及需要高亮或取消高亮的虚拟物体，记录虚拟书写笔动画帧数据，帧数据包含书写笔位姿值、选择的颜色、笔记粗细、以及开始书写或停止书写状态参数，记录虚拟教学显示屏动画帧数据，帧数据只包含虚拟显示屏位姿数据，记录多媒体演示状态帧数据，帧数据包含演示文件类型、文件名以及文件的演示状态，记录当前教学内容动画帧数据，帧数据包含常规XR互动教学资源里各虚拟物体的状态值，记录教学语音序列帧数据，帧数据为在当前时刻开始的语音片段；所述步骤S6具体为把从步骤S5记录生成的沉浸式教学动画各通道，以及步骤S1加载的常规XR互动教学资源与常规多媒体教学资源，用工具把它们打包生成一个微课资源包。
10.一种基于XR技术沉浸式微课的录制系统，其特征在于，基于XR技术沉浸式微课录制设备由光电传感器、音频采集设备、微课录制服务器及显示与互动设备组成，所述基于XR技术沉浸式微课的录制系统包括
光电信息处理模块，用来提取人员形态表征，包括能分割出人像，进行三维重建获得三维人像，计算出人体骨骼运动状态、人脸表情等形态表征状态向量；其次，通过视觉计算获取光电传感器、教学人员在录课现场的位姿(位置与姿态角)信息；然后，会进行教学人员手势、肢体语言、人脸表情与视觉互动命令的匹配计算，生成教学互动输入。
音频处理模块，用来提取教学人员在录课现场的教学语音。
初始化设置模块，用于加载常规XR互动教学资源、常规多媒体教学资源及教学人员并初始化设置沉浸式教学场景内各对象的状态值；
旋转平移模块，用于接收互动输入调整录课现场到沉浸式教学场景的坐标系旋转平移关系，使教学人员在沉浸式教学场景内能进行大范围的移动；
同步赋值模块，用于将教学人员的形态表征数据同步到沉浸式教学场景中的人物对象并赋值给人物对象相应子对象；
更新状态模块，用于根据接收的数据信息与互动操作指令更新虚拟场景中教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态；
记录判断模块，用于记录各个通道动画在各时刻记录的帧数据形成的帧序列并判断是否接收到结束录制微课指令，若是，则执行打包模块，若否，则判断是否有调整坐标系关系的命令，若是，则调整坐标系关系并返回旋转平移模块，若否则返回同步赋值模块；
打包模块，用于将记录生成的各通道动画与加载的常规XR互动教学资源与常规多媒体教学资源利用工具打包生成微课资源包。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210331612.3A CN115379278B (zh) | 2022-03-31 | 2022-03-31 | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210331612.3A CN115379278B (zh) | 2022-03-31 | 2022-03-31 | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115379278A true CN115379278A (zh) | 2022-11-22 |
| CN115379278B CN115379278B (zh) | 2023-09-05 |
Family
ID=84060580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210331612.3A Active CN115379278B (zh) | 2022-03-31 | 2022-03-31 | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115379278B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116360593A (zh) * | 2023-03-10 | 2023-06-30 | 深圳职业技术学院 | 基于xr技术的沉浸式教案系统的教学方法、系统及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105376547A (zh) * | 2015-11-17 | 2016-03-02 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的微课录制系统及方法 |
| CN106846448A (zh) * | 2017-02-09 | 2017-06-13 | 武汉吉客威睿数字科技有限公司 | 一种基于虚拟现实的微课录制方法及系统 |
| CN109961520A (zh) * | 2019-01-29 | 2019-07-02 | 深圳职业技术学院 | 一种基于第三视角技术的vr/mr教室及其构建方法 |
| WO2020045837A1 (ko) * | 2018-08-28 | 2020-03-05 | 김영대 | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 |
| CN113095969A (zh) * | 2021-03-11 | 2021-07-09 | 华中师范大学 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
| CN113362471A (zh) * | 2021-05-27 | 2021-09-07 | 深圳市木愚科技有限公司 | 基于教学语义的虚拟老师肢体动作生成方法及系统 |
-
2022
- 2022-03-31 CN CN202210331612.3A patent/CN115379278B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105376547A (zh) * | 2015-11-17 | 2016-03-02 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的微课录制系统及方法 |
| CN106846448A (zh) * | 2017-02-09 | 2017-06-13 | 武汉吉客威睿数字科技有限公司 | 一种基于虚拟现实的微课录制方法及系统 |
| WO2020045837A1 (ko) * | 2018-08-28 | 2020-03-05 | 김영대 | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 |
| CN109961520A (zh) * | 2019-01-29 | 2019-07-02 | 深圳职业技术学院 | 一种基于第三视角技术的vr/mr教室及其构建方法 |
| CN113095969A (zh) * | 2021-03-11 | 2021-07-09 | 华中师范大学 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
| CN113362471A (zh) * | 2021-05-27 | 2021-09-07 | 深圳市木愚科技有限公司 | 基于教学语义的虚拟老师肢体动作生成方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116360593A (zh) * | 2023-03-10 | 2023-06-30 | 深圳职业技术学院 | 基于xr技术的沉浸式教案系统的教学方法、系统及介质 |
| CN116360593B (zh) * | 2023-03-10 | 2023-11-24 | 深圳职业技术学院 | 基于xr技术的沉浸式教案系统的教学方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115379278B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166374B (zh) | 基于虚拟现实技术的教学系统 | |
| CN106502402B (zh) | 一种三维动态情景教学方法 | |
| WO2023045144A1 (zh) | 一种立体综合教学场系统的工作方法 | |
| CN110069139B (zh) | Vr技术实现旅游教学实践的体验系统 | |
| CN114327060B (zh) | 一种基于ai助手的虚拟教学系统的工作方法 | |
| Reas et al. | Processing: a learning environment for creating interactive Web graphics | |
| CN108389249B (zh) | 一种多兼容性的vr/ar空间教室及其构建方法 | |
| CN110210012A (zh) | 一种基于虚拟现实技术交互性课件制作方法 | |
| Schweitzer et al. | Teaching introductory computer graphics with the processing language | |
| CN115379278B (zh) | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 | |
| CN108646922B (zh) | 一种交互式数字地球仪及交互方法 | |
| Gholap et al. | Past, present, and future of the augmented reality (ar)-enhanced interactive techniques: A survey | |
| CN113221840B (zh) | 一种人像视频处理方法 | |
| He et al. | Design and implementation of virtual simulation teaching system for UAV based on WEBGL | |
| Zhou et al. | Design research and practice of augmented reality textbook | |
| Jin | A Constructivism-based 3D Scene Display Teaching System for Wushu Teaching. | |
| Wang et al. | Design and Implementation of Children's Games Based on Mixed Reality | |
| Zhou | Interactive simulation teaching system of electrical engineering based on virtual reality | |
| Zhang et al. | The Application of AR Augmented Reality Technology in Cruise Tourism Teaching | |
| Kim et al. | A situated experiential learning system based on a real-time 3D virtual studio | |
| Zhao | Research on the Application of Virtual Reality Technology in International Business Negotiation | |
| Li | Research on the Application of Mixed Reality Holographic Teaching Based on JIMO | |
| Li et al. | Design of Teaching System of Industrial Robots Using Mixed Reality Technology. | |
| Al Hashimi et al. | Epsilon Interactive Virtual User Manual (VUM) | |
| Gao | XR-TECAN Teaching Model for Chinese Traditional Art Education. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |