CN115379278B - 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 - Google Patents

基于扩展现实（xr）技术沉浸式微课的录制方法及系统 Download PDF

Info

Publication number
CN115379278B
CN115379278B CN202210331612.3A CN202210331612A CN115379278B CN 115379278 B CN115379278 B CN 115379278B CN 202210331612 A CN202210331612 A CN 202210331612A CN 115379278 B CN115379278 B CN 115379278B
Authority
CN
China
Prior art keywords
teaching
virtual
recording
immersive
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210331612.3A
Other languages
English (en)
Other versions
CN115379278A (zh
Inventor
蔡铁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202210331612.3A priority Critical patent/CN115379278B/zh
Publication of CN115379278A publication Critical patent/CN115379278A/zh
Application granted granted Critical
Publication of CN115379278B publication Critical patent/CN115379278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明适用于虚拟现实教学技术改进领域，提供了一种基于XR技术沉浸式微课的录制方法，包括：S1、加载资源并初始化沉浸式教学场景内各对象状态值；S2、调整录课现场到沉浸式教学场景的坐标系旋转平移关系；S3、同步教学人员形态到沉浸式教学场景；S4、更新沉浸式教学场景内各对象状态；S5、记录沉浸式教学动画；S6、将记录生成的教学动画、加载的常规XR互动教学资源与常规多媒体教学资源利用工具打包生成微课资源包。该方法录制微课简单，使用方便，老师可边讲解课程知识边进行微课录制，录制好的微课自动上传至云服务端，学生可通过XR终端随时随地回到沉浸式微课教学场景，身临其境跟随沉浸式场景里的老师进行课程知识的沉浸式互动学习。

Description

基于扩展现实(XR)技术沉浸式微课的录制方法及系统
技术领域
本发明属于虚拟现实教学技术改进领域，尤其涉及一种基于扩展现实技术(XR)技术沉浸式微课的录制方法及系统。
背景技术
随着科技的发展，电子设备渐渐运用到教育事业中，如课堂上常常使用到电脑、投影仪和大屏显示设备等。电子设备的引入便于老师进行备课和教学，学生可直观、清晰的了解老师的教学内容，提高老师的课堂教学效率。但是，现有的课堂教学设备中的相关课程知识需要老师预先输入，而且相关知识点也仅是通过图片进行展示，在课堂上，老师通过PPT切换等方式将图片一一展示给学生。但是在课堂后，学生即使将老师的课件进行拷贝，也无法真实重现课堂上教学，如关键知识点讲解、典型学生作业讲解或问题讲解，学生需要再次询问老师相关的知识点，增大老师的教学工作量，而且学生也无法在课堂前进行预习，教学效果较差。
旧有的“微课”全称“微型视频课程”，它是以教学视频为主要呈现方式，围绕学科知识点、例题习题、疑难问题、实验操作等进行的教学过程及相关资源之有机结合体。“微课”作品特点：1.“微课”核心资源是“微视频”(教学视频片段)，同时可包含与该教学视频内容相关的“微教案”(教学设计)、“微课件”(教学课件)、“微习题”(练习测试题)、“微反思”(教学反思)等辅助性教与学内容。”时长一般为5分钟左右，建议不超过10分钟。2.微课件的设计要求短小精悍。
虚拟现实技术(VR)、增强现实技术(AR)、混合现实技术(MR)等扩展现实技术(XR)是仿真技术的重要方向，是仿真技术与计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是富有挑战性的交叉技术前沿学科和研究领域。XR技术相较于视频、图片等常规教学资源有更强的教学信息表达能力，有高度的互动能力，用XR技术如何构建新形态的微课有重要的教学应用研究价值。
发明内容
本发明的目的在于提供一种基于扩展现实技术(XR)技术沉浸式微课的录制方法及系统，旨在解决上述的技术问题。
本发明是这样实现的，一种基于扩展现实技术(XR)技术沉浸式微课的录制方法，其特征在于，基于XR技术沉浸式微课录制设备由光电传感器、音频采集设备、微课录制服务器及显示与互动设备组成，所述基于扩展现实技术(XR)技术沉浸式微课的录制方法包括以下步骤：
S1、加载常规XR互动教学资源、常规多媒体教学资源及真实教学人员构建沉浸式教学场景，并初始化沉浸式教学场景内各对象的状态值，其中沉浸式教学场景是基于XR引擎构建的三维场景，教学人员在此三维场景开展互动教学；
S2、接收互动输入，调整录课现场到沉浸式教学场景的坐标系旋转平移关系，从而可较大幅度改变教学人员在沉浸式教学场景内的三维位姿，使教学人员在沉浸式教学场景内能进行大范围的移动；
S3、将录课现场拍摄的真实教学人员的形态同步到沉浸式教学场景中；
S4、根据接收的数据信息与互动操作指令更新沉浸式教学场景中教学人员形态的位姿状态以及场景中其它物体的状态；
S5、记录各时刻沉浸式教学场景内所有对象的状态，形成沉浸式教学动画，并判断是否接到结束录制微课指令，若是，则执行步骤S6，若否，则判断是否有调整坐标系关系的命令，若是，则返回步骤S2，若否则返回步骤S3；
S6、把基于XR引擎完整三维重现整个沉浸式教学过程与元素所必须的微课资源，打包生成微课资源包。
本发明的进一步技术方案是：所述步骤S1中沉浸式教学场景由真实教学人员与虚拟物体构成，虚拟物体包括虚拟摄像机，虚拟教学工具，以及常规XR互动教学资源里的虚拟物体，其中虚拟摄像机与录课现场光电传感器要进行位姿状态同步，虚拟摄像机位姿可表征默认最佳学习位置视角。
本发明的进一步技术方案是：所述步骤S6中微课资源包括记录生成的沉浸式教学动画、加载的常规XR互动教学资源与常规多媒体教学资源。
本发明的进一步技术方案是：所述步骤S5中沉浸式教学动画由多个动画通道组成，这些动画通道包括：教学人员动画、教学内容动画、虚拟摄像机动画、多媒体演示动画、虚拟教学工具动画以及教学语音序列，其中虚拟摄像机动画为微课默认的最佳学习路径。
本发明的进一步技术方案是：所述步骤S1中在沉浸式教学场景里加载真实教学人员的方式为：在沉浸式教学场景构建一个教学人员对象，从光电信息处理模块获得教学人员的真实形态表征并赋值给此教学人员对象，并初始化教学人员在沉浸式教学场景里的三维位姿值。
本发明的进一步技术方案是：所述步骤S4中，更新沉浸式教学场景中教学人员位姿值与虚拟摄像机位姿方法为对光电传感器信息处理，实时获取当前时刻教学人员形态表征以及光电传感器在录课现场坐标系的三维位姿值，并由当前时刻录课现场坐标系到沉浸式教学场景坐标系的变换关系进行位姿值变换计算，得到真实教学人员形态表征、虚拟摄像机在沉浸式教学场景当前时刻的三维位姿值。
本发明的进一步技术方案是：对光电传感器信息处理获得教学人员的真实形态包含三种形态表征：人像抠图图片、重建的三维人像数据、教学人员形态表征状态向量，沉浸式教学场景中教学人员对象由三个子对象组成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维仿真人像，三个子对象与三种形态表征依次一一对应，三种形态表征数据分别赋值给对应的教学人员子对象，提供多样化的真实教学人员形态表征。
本发明的进一步技术方案是：所述步骤S2中调整坐标系旋转平移关系包括正向调整与逆向调整两种方式，在步骤S2中使用单独一种调整方式或综合运用两种方式完成坐标系变换关系调整，坐标系变换关系包括旋转关系及平移关系，正向调整设定旋转角度与平移值，或者增大或减小旋转角度与平移值的互动方式，获得新的旋转平移量；逆向调整通过直接设定位姿值或增大减小位姿值的互动操作方式，先获得教学人员在沉浸式教学场景里的位姿，再根据位姿反推计算得到坐标系的旋转平移值。
本发明的进一步技术方案是：所述步骤S1具体为初始化沉浸式教学空间，包括加载常规XR互动教学资源、常规多媒体教学资源、真实教学人员，以及初始设置沉浸式教学场景内各对象的状态值,教学人员的加载需要在沉浸式教学场景内构建一个教学人员对象，此教学人员对象由三个子对象组成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维仿真人像，初始设置沉浸式教学场景内各对象值包括对常规XR互动教学资源各虚拟物体状态、虚拟教学工具状态、虚拟显示屏上多媒体演示状态，调用默认值或手动进行这些状态值的初始化设置，虚拟教学工具包括虚拟教鞭、虚拟书写笔、虚拟显示屏，设定录课现场到沉浸式教学场景的坐标系旋转平移变换关系的初始值，对光电传感器获得的信息处理，获得教学人员形态表征在录课现场的位姿值，此位姿值进行坐标系旋转平移变换计算，得到教学人员形态表征在沉浸式教学场景中的初始位姿；所述步骤S3具体为在任意当前时刻，把对光电传感器信息处理实时生成的人像图片、重建的三维人像数据、教学人员形态表征状态向量，传送到沉浸式教学场景，把它们分别赋值给人物对象里对应的子对象；所述步骤S4具体为接收包括语音、人的手势、肢体语言、表情、以及输入设备或XR终端发送过来的互动操作命令，实现教学人员与教学内容的互动，在此基础上更新教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态等；所述步骤S5记录沉浸式教学动画具体包括：记录教学人员动画帧数据，帧数据包含教学人员形态表征数据与教学人员形态表征在沉浸式教学场景里的位姿值，记录虚拟摄像机动画帧数据，帧数据为虚拟摄像机位姿值，记录虚拟教鞭动画帧数据，帧数据包含虚拟教鞭的位姿值以及需要高亮或取消高亮的虚拟物体，记录虚拟书写笔帧数据，帧数据包括书写比位姿值、选择的颜色、笔记粗细、以及开始书写或停止书写状态，记录虚拟教学显示屏动画帧数据，帧数据只包含虚拟显示屏位姿数据，记录多媒体演示状态帧数据，帧数据包含演示文件类型、文件名以及文件的演示状态，记录当前教学内容动画帧数据，帧数据包含常规XR互动教学资源里各虚拟物体的状态参数值，记录教学语音序列帧数据，帧数据为在当前时刻开始的语音片段；所述步骤S6具体为把从步骤S5记录生成的各通道动画，以及步骤S1加载的常规XR互动教学资源与常规多媒体教学资源，用工具把它们打包生成一个微课资源包。
本发明的另一目的在于提供一种基于扩展现实技术(XR)技术沉浸式微课的录制系统，其特征在于，基于XR技术沉浸式微课录制设备由光电传感器、音频采集设备、微课录制服务器及显示与互动设备组成，所述基于扩展现实技术(XR)技术沉浸式微课的录制系统包括
光电信息处理模块，用来提取人员形态表征，包括能分割出人像，进行三维重建获得三维人像，计算出人体骨骼运动状态、人脸表情等形态表征状态向量；其次，通过视觉计算获取光电传感器、教学人员在录课现场的位姿(位置与姿态角)信息；然后，会进行教学人员手势、肢体语言、人脸表情与视觉互动命令的匹配计算，生成教学互动输入。
音频处理模块，用来提取教学人员在录课现场的教学语音。
初始化设置模块，用于加载常规XR互动教学资源、常规多媒体教学资源及教学人员并初始化设置沉浸式教学场景内各对象的状态值；
旋转平移模块，用于接收互动输入调整录课现场到沉浸式教学场景的坐标系旋转平移关系，使教学人员在沉浸式教学场景内能进行大范围的移动；
同步赋值模块，用于将教学人员的形态表征数据同步到沉浸式教学场景中的人物对象并赋值给人物对象相应子对象；
更新状态模块，用于根据接收的数据信息与互动操作指令更新虚拟场景中教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态；
记录判断模块，用于记录各个通道动画在各时刻记录的帧数据形成的帧序列并判断是否接到结束录制微课指令，若是，则执行打包模块，若否，则判断是否有调整坐标系关系的命令，若是，则调整坐标系关系并返回旋转平移模块，若否则返回同步赋值模块；
打包模块，用于将记录生成的各通道动画与加载的常规XR互动教学资源与常规多媒体教学资源利用工具打包生成微课资源包。
本发明的有益效果是：该方法录制微课简单，使用方便，老师可边讲解边进行微课录制，本方法录制微课生成的不是视频，而是基于XR技术的沉浸式教学动画，它能完整三维还原老师在沉浸式教学场景里的教学活动，录制好的微课上传至云端后，学生可通过XR终端随时随地回到沉浸式微课教学场景，身临其境跟随沉浸式教学场景里的老师进行课程知识的沉浸式互动学习。使用此沉浸式微课录制方法和系统，老师可以便利地对常规XR互动教学资源进行二次加工，灵活生成适配多变教学需求的沉浸式教学资源。
附图说明
图1是本发明实施例提供的沉浸式教学场景示意图。
图2是本发明实施例提供的沉浸式微课资源使用示意图。
图3是本发明实施例提供的沉浸式微课录制系统示意图。
图4是本发明实施例提供的微课录制软件系统示意图。
图5是本发明实施例提供的录课系统运行主流程示意图。
具体实施方式
如图1-5所示，本发明提供的基于扩展现实技术(XR)技术沉浸式微课的录制方法，其详述如下：
扩展现实技术(XR)技术是对虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术的综合。在XR技术构建的沉浸式教学环景里开展教学，能使学生对知识进行更深层次学习，能提高学生对知识的长期记忆留存率。在微课的基础理念基础上，基于XR技术，给出一种沉浸式微课，在这个基础上设计了沉浸式微课录制和播放系统。
沉浸式微课，是指运用扩展现实技术(XR)按照认知规律，呈现碎片化学习内容、过程及扩展素材的结构化沉浸式数字教学资源。沉浸式微课的核心组成内容是基于沉浸式教学环境的教学动画(课例片段)，同时还包含与该教学主题相关的教学设计、常规XR互动教学资源、教学反思、练习测试及学生反馈、教学人员点评等辅助性教学资源，它们以一定的组织关系和呈现方式共同“营造”了一个半结构化、主题式的资源单元应用“沉浸式教学小环境”。
本发明沉浸式微课与传统微课的区别在于：传统微课以视频文件为核心记录教学活动，只记录了教学活动某个或若干个方位的画面，不能完整记录教学活动信息，更不能提供沉浸式体验；而本发明的沉浸式微课以生成教学三维(3D)动画的方式，全方位记录了整个教学活动，学生基于XR终端，可以沉浸式参与微课里的教学活动，对微课内容进行沉浸式学习。
在某些文献中也把呈现知识片段的直接开发的常规XR互动教学资源称为微课，本发明的沉浸式微课与之的区别为：本发明的沉浸式微课不是直接开发的常规XR互动教学资源，是教学人员用已开发的常规XR互动教学资源在开展教学过程中，录制生成，是教学人员根据教学规律与需求，对已开发的常规XR互动教学资源的二次加工。
(一)沉浸式微课
本发明给出一种基于XR技术的沉浸式微课，此沉浸式微课记录了教师在XR技术构建的沉浸式教学场景里对碎片化知识内容进行讲授的活动，形成了以教学三维动画为核心的数字化教学资源，学习人员可以使用XR终端身临其境微课内容所在的沉浸式教学场景，沉浸式获取教师对知识内容的讲授，并在沉浸式教学场景内使用微课所包含的互动教学资源进行虚拟实操等教学互动。
下文分别对XR技术构建的沉浸式教学场景，沉浸式微课的数字资源构成以及教学人员对沉浸式微课资源的使用方式进行说明。
1.XR技术构建的沉浸式教学场景
以Unity与Unreal为代表的XR引擎能构建虚拟或虚实结合场景，本发明基于XR引擎构建沉浸式教学场景。如图1所示，沉浸式教学场景基本组成为真实教学人员，常规XR互动教学资源，虚拟摄像机，以及虚拟教学工具等。虚拟互动教学工具可以包含虚拟教鞭、虚拟书写笔、虚拟教学显示屏等，虚拟教学显示屏可以用来在沉浸式教学环境里播放ppt、视频、图片等常规多媒体资源。
如图1所示，教学人员可以在沉浸式教学环境的三维空间里移动，如图1中(a)→图1(b)所示,教学人员走到虚拟物体后面，被遮挡，教学人员可以与表征教学内容的虚拟物体进行互动，如图1(b)→图1(c)所示，虚拟物体发生了旋转，可以在沉浸式教学环境开展教学活动，学生通过XR终端进入到此沉浸式环境里对微课内容进行学习，如图1(d)所示。
2.沉浸式微课数字资源构成
沉浸式微课数字资源基本构成包括教学三维动画、常规XR互动教学资源以及常规多媒体教学资源，其中教学三维动画是核心。常规XR互动教学资源，指的是开发人员根据课程知识点开发出来三维教学资源，能提供课程内容浏览漫游、虚拟实操、考核等功能；教学三维动画，指的是教学人员使用常规XR互动教学资源开展教学，录制此教学活动过程而生成的三维动画。微课资源包里所有内容都可以在XR引擎里使用，提供沉浸式体验。用户在沉浸式环境里观看教学动画，同时可以调用XR互动教学资源进行自主知识浏览(例如，旋转代表课程的虚拟物体，全方位了解物体的形状与构成)以及实操等操作，观看完微课教学动画以及实操后，在沉浸式教学环境里可进行虚拟实操考核，及时反映微课学习效果。
三维教学动画是本发明沉浸式微课的核心数字资源，教学人员录制课堂教学动画过程往往是一个精益求精，反复打磨的过程。为了提高录制的便利性，三维教学动画由多个通道的动画组成，从而可以在保留部分通道已录制动画不变的情况下，对单个或多个通道的动画重新录制。同时，为了提供多样化的教学人员形态表现，本发明的沉浸式微课教学人员动画通道包含多个层级的形态表征。
沉浸式微课教学动画由教学人员动画、教学内容动画、虚拟摄像机动画、多媒体演示动画、虚拟教学工具动画以及教学语音序列等通道组成。下文对动画的每个通道分别介绍。
2.1.教学人员动画
把教学人员的实时形态状态数据赋值给沉浸式教学场景的教学人员对象上，形态状态数据包括人像抠图图片、重建的三维人像数据、教学人员形态表征状态向量，微课录制系统在录课现场坐标系到沉浸式教学场景坐标系旋转平移关系下，把录课现场教学人员的形态状态数据同步到沉浸式教学场景的教学人员对象上，通过调整现场坐标系到沉浸式教学场景坐标系旋转平移关系，可以实现教学人员在沉浸式教学场景内的大范围转场与大幅度转身，记录教学人员在沉浸式教学场景里的各时刻的形态状态数据与位姿数据，就录制生成了教学人员在沉浸式教学场景里的教学活动动画。
教学人员形态表征状态向量为对教学人员实时视觉计算识别出人体骨骼的旋转运动、表情变化等，市面上realsense、kinect等深度或体感相机sdk提供相关计算功能，教学人员形态表征状态向量可以在沉浸式教学场景里绑定虚拟教学人物模型，用来驱动虚拟教学人员活动。教学人员及形态表征的位姿参数，在本发明中只有4个自由度，分别是3个自由度的位置参数与1个自由度的转身角度参数。
教学人员用Oteacher表示，在任意时刻tj，用表示抠像出来的人像图片，用/>表示重建出来的三维人像，用/>表示识别出来的形态表征状态向量，用表示教学人员形态表征在沉浸式教学场景里的位置，用变量/>表示教学人员形态表征前后转身旋转角度。由此，教学人员每帧数据可以表示为/>教学人员动画可以表示为帧序列：
2.2.虚拟摄像机动画
教学人员录制微课时，以录课现场的光电传感器为假想的学生，开展教学活动，微课录制系统在录课现场坐标系到沉浸式教学场景坐标系旋转平移关系下，把光电传感器的位姿同步到沉浸式教学场景里的虚拟摄像机上，此虚拟摄像机在沉浸式教学场景里的移动路径与视角就是此沉浸式微课最佳学习路径与视角。其中，学习路径的移动与视角变化包含，录课现场光电传感器的位移与旋转，以及录课现场坐标系到沉浸式教学场景坐标系旋转平移关系的调整。
虚拟摄像机用Ocamera表示。每帧数据记录虚拟摄像机的位姿，虚拟摄像机位姿只用5个自由度，其中位置3个自由度，用表示；姿态角只有2个自由度，光电传感器只能前后旋转与俯仰、不允许翻滚，用/>表示，
表示俯仰，/>表示前后旋转。则虚拟摄像机单帧状态数据可表示为虚拟摄像机动画可以表示为帧序列：
2.3.虚拟教学工具动画
虚拟教学工具动画用来记录虚拟教学工具的使用过程，例如虚拟教鞭包含教鞭的位置与指向，以及需要高亮的虚拟物体对象。虚拟教学工具包括教鞭、书写笔、虚拟显示屏等。
虚拟教鞭动画每帧数据包含教鞭位姿、是否开启或结束对虚拟物体的高亮，以及高亮的物体对象。虚拟书写笔每帧数据包含笔的位姿，选择的颜色，笔迹粗细，以及开始书写或停止书写状态等。虚拟显示器动画每帧数据只包含位姿，显示器演示的内容另外用多媒体演示动画表征。
令虚拟教鞭、虚拟书写笔、虚拟显示屏分别用opointer、open、odisplay表示，虚拟教学工具集用Otool＝{opointer open odisplay…}表示。
虚拟教鞭位姿只用5个自由度，其中位置3个自由度，用表示；姿态角2个自由度，虚拟教鞭只需旋转与俯仰、不需要翻滚，用/>表示；开启或结束对虚拟物体的高亮用表示，其中/>取值为0或1，/>表示某虚拟物体，当/>时，表示高亮虚拟物体/>当/>时，表示取消对虚拟物体/>的高亮。由此，在时刻tj，虚拟教鞭动画帧数据为/>其中/>可以为空，为空时表示没有新的高亮或取消高亮操作。则虚拟教鞭动画可以表示为帧序列：
虚拟书写笔每帧数据包含笔的位姿，选择的颜色，笔迹粗细，以及开始书写或停止书写等。虚拟书写笔也只用5个自由度，其中位置3个自由度，用表示；姿态角只有2个自由度，只需旋转与俯仰、不需要翻滚，用/>表示；开始书写或结束书写用/>表示，其中/>取值为0或1，当时，表示为书写状态，当/>时，表示停止书写。用/>表示书写颜色，用/>表示书写笔迹大小。由此，在时刻tj，虚拟书写笔动画帧数据为则虚拟书写笔动画可以表示为帧序列：
虚拟显示器动画每帧数据只包含位姿，显示器演示的内容另外用多媒体演示动画表征。虚拟显示器也只用5个自由度，其中位置3个自由度，用表示；姿态角只有2个自由度，只需旋转与俯仰、不需要翻滚，用/>表示。由此，在时刻tj，虚拟显示器动画帧数据为则虚拟显示器动画可以表示为帧序列：
2.4.多媒体演示动画
多媒体演示动画是记录虚拟显示屏上PPT、视频、图片等的演示过程。每帧数据包含当前演示多媒体资源的类型、名字、以及此多媒体资源的演示状态。
演示用的多媒体文件集合表示为演示文件类型用变量ρ表示，取值0、1、2等，其中ρ＝0表示文件类型为图片，ρ＝1表示文件类型为视频，ρ＝2表示文件类型为PPT。用η表示为文件名，用Vmedia表示演示状态，Vmedia含有多个数据位可以记录PPT当前页码，也可以记录视频当前播放进度等。则多媒体演示动画帧数据可以表示为则多媒体演示动画可以表示为帧序列：
2.5.教学内容动画
教学内容动画是在教学过程中记录互动教学资源里虚拟物体状态参数变化所形成的动画，此动画体现教学内容的知识点。互动教学资源里的虚拟物体可以是零件、单个设备、子系统、总系统等，虚拟物体由三维模型、纹理、表示物体功能与运行逻辑的程序脚本等组成。其中状态参数可以是最基础的位姿参数，也可以是高阶一些的状态参数(例如，场景中的虚拟人，可以用一个运动参数，表征当前是处在奔跑、散步、禁止等不同状态)，教学内容动画很常见，具体可以参考unity、unreal等XR引擎的动画格式。
令互动教学资源里包含虚拟物体集合为任意虚体物体ok包含的状态参数集合用/>表示，因此，教学内容动画在时刻tj，帧数据为教学内容动画就可以表示此帧数据的序列：
2.6.教学语音序列
若任意语音片段在时间tj开始，则在时间tj帧数据为则教学语音序列可以表示为：/>
教学语音序列里，部分帧的ηtj为空，这不一定意味为空的时间段没有播放语音音频，而是可能没有播放新的语音音频，但原有播放的语音音频还在继续播放。
总之，完整的沉浸式微课资源包主要构成为：常规XR互动教学资源、常规多媒体教学资源、教学人员动画、虚拟教学工具动画、虚拟摄像机动画、常规多媒体演示动画、教学内容动画、教学语音序列。
3.沉浸式微课资源的使用方式
XR引擎对沉浸式微课数字资源包解析，获得常规XR互动教学资源与常规多媒体教学资源，以及教学人员动画、虚拟摄像机动画等各通道动画，由此还原此微课对应的沉浸式教学场景。沉浸式微课资源可以提供不同的XR学习体验，具体为：
1)不同程度加载虚拟摄像机动画，使用户有不同程度的体验自由度。
程度1：加载虚拟摄像机动画，从而使学生学习的路线与视角与虚拟摄像机位移视角完全同步，某种意义上学生处在默认最佳学习视角；程度2：只加载虚拟摄像机动画的位移分量，但不加载视角，由此学生会跟随虚拟摄像机动画到默认的学习位置，但观看的视角由学生自主；程度3：不加载虚拟摄像机动画，完全由学生根据老师在沉浸式教学环境里的教学活动，由学生自主调整位姿观看教学。虽然增加学生自主空间不能确保学习路线与视角一直最佳，但可以让学生获得更多的参与感和沉浸感。
2)微课可以选择加载不同教学人员形态获得不同的学习体验，包括人像抠图、三维重建的人像以及人员形态表征状态向量，其中形态表征状态向量须配套虚拟人物模型使用。
(二)微课录制系统
本发明沉浸式微课录制系统由硬件设备与软件组成。
如图3所示，硬件设备主要组成有：光电传感器、音频采集设备、微课录制服务器、显示与互动设备组成。各硬件功能如下：
1)光电传感器可以选用kinect、realsense等RGBD相机。光电传感器同时采集可见光图像以及表征景深的深度图像，并把采集到的图像实时传送给微课录制服务器。
2)音频采集设备采集教学人员教学语音音频，可选用耳麦、话筒等。
3)微课录制服务器选用图形工作站，需要用来进行图像、语音信息处理、计算沉浸式教学场景状态以及图形的渲染等工作。
4)显示与互动设备可以选用大显示屏、手机、XR头显/头盔、键盘鼠标、手柄等，用来实时把沉浸式教学效果显示出来，以及用来进行教学互动。其中，手机、XR头显/头盔可以使用无线串流的方式获取服务器渲染出的沉浸式教学画面。
在这些硬件的基础上，安装在微课录制服务器上的微课录制软件主要由光电信息处理、音频信息处理、沉浸式教学微课录制引擎，沉浸式微课打包工具4个功能模块组成。软件系统如下图所示，下文将详细介绍各模块的具体功能。
1)光电信息处理模块
光电信息处理模块读取光电处理器采集的彩色图像与深度图像信息，市面上常见深度相机的sdk以及opencv的sdk提供了丰富的图像信息处理功能。在此基础上，本发明的光电信息模块首先提取人员形态信息，包括能分割出人像(俗称抠图)，进行三维重建获得三维人像，计算出人体骨骼运动状态、人脸表情等形态表征参数信息；其次，通过视觉计算获取光电传感器、教学人员在录课现场的位姿(位置与姿态角)信息；然后，会进行教学人员手势、肢体语言、人脸表情与视觉互动命令的匹配计算；最后，会把人员形态信息、位姿信息、视觉互动命令发送到沉浸式微课录制引擎。
2)音频处理模块
音频处理模块采集教学人员在录课现场的教学语音，市面上的语音sdk能对声音进行去噪、提取、语音识别等处理。基于此，本发明音频处理模块首先提取教学人员语音片段，进行时间标注，形成语音序列，发送到沉浸式微课打包工具；其次，语音识别获得符号化的语句，语句与互动语音命令匹配，将匹配出的语音互动命令发送到沉浸式微课录制引擎。
3)沉浸式微课录制引擎
沉浸式微课录制引擎以XR引擎功能为基础，提供如下功能：加载XR互动教学资源与常规的多媒体课件资源；在一定的坐标系旋转平移关系下，把录课现场的教学人员、光电传感器位姿、互动设备操控信息同步到沉浸式教学场景里；接收视觉互动命令、语音互动命令以及常规互动输入等，实时计算场景里各对象的当前状态；记录各对象当前状态，形成不同通道的动画；微课画面实时渲染。
令录制现场坐标系用Ψreal表示，以录课现场地面为x轴z轴所共的平面，地面垂直向上为y轴方向。沉浸式教学空间坐标系用Ψimmersive表示，沉浸式教学场景地面为x轴z轴所共的平面，地面垂直向上为y轴方向。本发明，限定坐标系之间旋转只能绕地面垂直方向进行旋转(如果不如此限定，在沉浸式场景里，教学人员身姿可能是倾斜的)，所以Ψreal到Ψimmersive旋转平移关系用地面垂直方向旋转角度向量β与平移向量[px py pz]表示，两个坐标系之间坐标位置变换关系用旋转平移矩阵H表示，如下式所示：
令C＝[cx cy cz]为录课现场直角坐标系下任意点，则此点在沉浸式教学场景内位置W＝[wx wy wz]可由下式计算得到。
令C′＝[cx cy cz 1]T、W′＝[wx wy wz 1]T，则W′＝HgC′。
对于任意时刻tj，若已知坐标系旋转平移关系，其中旋转向量为βtj，平移量为把旋转平移向量代入式(1)，可得录课现场到沉浸式教学场景坐标系旋转平移变换关系矩阵/>
光电信息处理单元计算得到教学人员在录课现场坐标系下位置为：转身旋转角为：/>则教学人员在沉浸式教学场景位置参数/>和转身旋转角度/>可由下式计算出来。/>
光电信息处理单元计算得到光电信息传感器在录课现场下位置为姿态角为/>
则有：
微课录制引擎由如下多个模块构成：
①初始化设置模块，用于加载XR互动教学资源、常规多媒体教学资源及教学人员，并初始化设置沉浸式教学场景内各对象的状态值；
②旋转平移模块，用于接收互动输入调整录课现场到沉浸式教学场景的坐标系旋转平移关系，使教学人员在沉浸式教学场景内能进行大范围的移动；
③同步赋值模块，用于将教学人员的形态表征数据同步到沉浸式教学场景中的人物对象并赋值给人物对象相应子对象；
④更新状态模块，用于根据接收的数据信息与互动操作指令更新虚拟场景中教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态；
⑤记录判断模块，用于记录各个通道动画在各时刻记录的帧数据形成的帧序列并判断是否接收到结束录制微课指令，若是，则执行打包模块，若否，则判断是否有调整坐标系关系的命令，若是，则返回旋转平移模块，若否则返回同步赋值模块；
4)沉浸式微课打包工具
利用XR引擎自带或其它打包工具，把XR互动教学资源、常规多媒体教学资源、教学人员动画、教学内容动画、虚拟摄像机动画、虚拟教学工具动画、多媒体演示动画、教学语音音频序列等打包到一起，生成一个沉浸式微课资源包。
(三)沉浸式微课录制方法
如图5所示，沉浸式微课录制具体主要流程如下：
步骤1.沉浸式教学场景初始化
本发明微课的沉浸式教学场景默认自带虚拟教学工具与虚拟摄像机，在此基础上，本步骤进一步完成XR互动教学资源、常规多媒体教学资源、教学人员的加载，以及初始设置沉浸式教学场景内各对象的状态值。
其中，场景对教学人员的加载方法为：在场景里构建一个教学人员对象，此教学人员对象由三个子对象组成，三个子对象分别为人像抠像图片、三维重建的人像、虚拟三维仿真人像。人像抠像图片、三维重建人像、虚拟三维仿真人像的形态表征状态向量从光电信息处理模块加载得到。虚拟三维仿真人像为场景默认自带。
本步骤设置沉浸式教学场景内各对象的初始状态值。其中，对XR互动教学资源各虚拟物体状态、虚拟教学工具状态、虚拟显示屏上多媒体演示状态调用默认值或手动进行初始化设置。设定录课现场坐标系到微课坐标系旋转平移关系初始值，对光电传感器采集的信息进行处理，得到教学人员形态表征及形态表征在录课现场的位姿值，根据坐标系之间的旋转平移关系计算得到教学人员形态表征在沉浸式教学场景坐标系里的坐标值，同样由此坐标系旋转平移关系，根据光电传感器在录课现场坐标系的坐标值进行变换计算，可得到沉浸式教学场景内虚拟摄像机位姿值。
令沉浸式教学场景用S表示，S中默认自带虚拟教学工具集合Otool＝{opointer openodisplay…}以及虚拟摄像机ocamera，加载常规XR互动教学
资源和常规多媒体教学资源/>为教学人员在场景里生成人物对象，用Oteacher表示，对于教学人员，它由三个子对象组成，分别为人像图片、三维重建的人像、虚拟三维仿真人像，在场景里教学人员对象的三个子对象可以通过切换选择显示。
调用默认值完成教学工具状态初始化，也就是明确初始时间t0时刻，虚拟教鞭状态值虚拟书写笔状态值虚拟电子显示屏位姿状态值/>根据教学计划，设置常规XR互动教学资源初始状态/>以及设置虚拟显示屏多媒体教学资源演示初始状态/>
设定初始时刻坐标系旋转平移关系，其中旋转向量为平移量为把旋转平移向量代入式(1)，可得旋转平移矩阵/>
光电信息处理单元计算得到教学人员形态表征在录课现场坐标系下位置为转身姿态角为/>则由式(3)和(4)计算得到教学人员在沉浸式场景里位姿如下：
光电信息处理单元计算得到光电传感器在录课现场下位置为姿态角为/>
则在t0时刻，根据式(5)和式(6)计算得到虚拟摄像机在沉浸式教学场景内位姿为：
/>
由此完成初始化沉浸式教学场景的初始化。
步骤2.调整录课现场到沉浸式教学场景的坐标系旋转平移关系
本步骤接收互动输入，调整录课现场到沉浸式教学场景坐标系旋转平移关系，使教学人员在沉浸式教学场景里大范围的移动。调整坐标系旋转平移关系正向调整与逆向调整两种方式。本步骤可以单独使用其中一种调整方式或综合运用两种调整方式完成坐标系变换关系的调整。坐标系变换关系包含旋转关系与平移关系，正向调整直接设定旋转角度与平移值，也可通过增大或减小旋转与平移值的互动方式，获得新的旋转平移量。逆向调整是通过直接设定位姿值或增大减小位姿值的互动操作方式，先获得教学人员在沉浸式教学场景里的位姿，然后再反推计算得到坐标系的旋转平移值。
正向调整能很直接获取平移向量/>以及平移旋转矩阵/>逆向获取旋转平移关系具体为，已知在任意时刻tj，调整教学人员在沉浸式教学场景里的位姿后，其位置与姿态角分别为/>和/>在录课现场位置实时计算得到的位置与姿态角分别为/>和则由式(1)、(3)、(4)可计算得到：
坐标系旋转角度
坐标系平移量为：
由此得到旋转平移关系矩阵
步骤3.同步教学人员形象到沉浸式教学场景
在任意时刻tj，光电信息处理单元实时生成的人像图片重建的三维人像数据教学人员形态表征状态向量/>传送到沉浸式教学场景，把它们分别复制给人物对象的子对象，/>人物虚拟模型/>的形态状态向量值为/>
步骤4.更新场景内各对象状态
本步骤接收包括语音、人的手势、肢体语言、表情、以及输入设备或XR终端发送过来的互动操作命令，实现教学人员与教学内容的互动，在此基础上更新教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、常规多媒体播放状态、常规XR互动教学资源内各虚拟物体状态等。令当前时刻为tj，具体计算各对象当前状态如下。
1)更新教学人员位姿状态
从光电信息处理模块，读取教学人员在录课现场的实时位姿和/>根据坐标系旋转角度βj和旋转平移变换矩阵/>计算得到
2)更新虚拟摄像机位姿状态
从光电信息处理模块，读取虚拟摄像机在录课现场的实时位置与姿态角/>根据坐标系旋转角度βj和旋转平移变换矩阵/>计算得到在当前时刻虚拟摄像机位姿状态为：
3)更新虚拟教学工具状态
虚拟教学工具要与真实录课现场的虚拟教学工具控制器进行状态同步，其中虚拟教学控制器是XR头显等终端的手柄控制器或者用户的手势。XR终端通过自身定位系统获得在录课现场的教学工具控制器的实时位姿数据。然后根据坐标系旋转平移关系，计算得到虚拟教学工具位姿。其中虚拟教鞭将根据教鞭方向射线与常规XR教学资源里的虚拟物体碰撞，将选择此物体，在此基础上可以高亮此物体或取消此物体的高亮。
由此可以获得tj时刻，虚拟教鞭状态为
虚拟书写笔状态为
虚拟显示屏状态为
4)更新多媒体演示状态
根据当前的更换多媒体文件以及ppt翻页等操作，生产虚拟显示屏上演示的常规多媒体教学内容状态
5)常规XR互动教学资源虚拟物体状态
接收XR终端的互动操作输入，根据前面时刻的状态，在教学资源自带的运行逻辑下，计算常规XR互动教学资源虚拟物体状态
步骤5.记录沉浸式教学动画
1)记录教学人员动画帧数据：
2)记录虚拟摄像机动画帧数据：
3)记录虚拟教学工具动画帧数据，包括：
虚拟教鞭
虚拟书写笔
虚拟教学显示屏
4)记录多媒体演示状态帧数据：
5)记录当前教学内容动画帧数据：
6)记录教学语音序列数据
询问语音音频处理模块，如果有产生新的语音片段，则记录此语音片段与此片段开始时间。若语音片段在时间tj开始，则记录帧数据为/>
各通道动画就是在各时刻记录的帧数据形成的帧序列。
如果接收到结束微课录制的命令，将进入步骤6，否则判断是否有调整坐标系关系的命令，如果要调整坐标系关系，就进入步骤2，否则进入步骤3。
步骤6.打包
从步骤5记录生成的各通道动画，以及步骤1加载的常规XR互动教学资源与常规多媒体教学资源，用工具把它们打包生成一个微课资源包。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，基于扩展现实（XR）技术沉浸式微课录制设备由光电传感器、音频采集设备、微课录制服务器及显示与互动设备组成，所述基于扩展现实（XR）技术沉浸式微课的录制方法包括以下步骤：
S1、加载XR互动教学资源、多媒体教学资源及真实教学人员构建沉浸式教学场景，并初始化沉浸式教学场景内各对象的状态值，其中沉浸式教学场景是基于XR引擎构建的三维场景，教学人员在此三维场景内开展互动教学；
S2、接收互动输入，调整录课现场到沉浸式教学场景的坐标系旋转平移关系，从而改变教学人员在沉浸式教学场景内的三维位姿，使教学人员在沉浸式教学场景内进行移动；
S3、将录课现场拍摄的真实教学人员的形态同步到沉浸式教学场景中；
S4、根据接收的互动操作指令更新沉浸式教学场景中教学人员形态的位姿状态以及场景中其它物体的状态；
S5、记录各时刻沉浸式教学场景内所有对象的状态，形成沉浸式教学动画，并判断是否接收到结束录制微课指令，若是，则执行步骤S6，若否，则判断是否有调整坐标系关系的命令，若是，则返回步骤S2，若否则返回步骤S3；
S6、把基于XR引擎完整三维重现整个沉浸式教学过程的XR互动教学资源、多媒体教学资源以及沉浸式教学动画打包生成微课资源包。
2.根据权利要求1所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，所述步骤S1中沉浸式教学场景由真实教学人员与虚拟物体构成，虚拟物体包括虚拟摄像机，虚拟教学工具，以及XR互动教学资源里的虚拟物体，其中虚拟摄像机与录课现场光电传感器要进行位姿状态同步，虚拟摄像机位姿表征最佳学习位置视角。
3.根据权利要求2所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，所述步骤S5中沉浸式教学动画由多个动画通道组成，多个所述动画通道包括：教学人员动画、教学内容动画、虚拟摄像机动画、多媒体演示动画、虚拟教学工具动画以及教学语音序列，其中虚拟摄像机动画为微课默认的学习路径。
4.根据权利要求3所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，所述步骤S1中在沉浸式教学场景里加载真实教学人员的方式为：在沉浸式教学场景构建一个教学人员对象，对光电传感器获取的信息进行处理获得教学人员的真实形态表征并赋值给所述教学人员对象，初始设置所述教学人员对象在沉浸式教学场景里的三维位姿值。
5.根据权利要求4所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，所述步骤S4中，更新沉浸式教学场景中教学人员位姿值与虚拟摄像机位姿值方法为对光电传感器获取的信息进行处理，实时获取当前时刻教学人员形态表征以及光电传感器在录课现场坐标系的三维位姿值，并由当前时刻录课现场坐标系到沉浸式教学场景坐标系的旋转平移关系进行位姿值变换计算，得到真实教学人员形态表征、虚拟摄像机在沉浸式教学场景当前时刻的三维位姿值。
6.根据权利要求5所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，对光电传感器获取的信息进行处理，得到教学人员的真实形态包含三种形态表征：人像抠图图片、重建的三维人像数据、教学人员形态表征状态向量，沉浸式教学场景中教学人员对象由三个子对象组成，三个子对象分别为人像抠图图片、三维重建的人像、虚拟三维仿真人像，三个子对象与三种形态表征依次一一对应，三种形态表征数据分别赋值给对应的教学人员子对象，提供真实教学人员形态表征。
7.根据权利要求6所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，所述步骤S2中调整坐标系旋转平移关系包括正向调整与逆向调整两种方式，在步骤S2中使用单独一种调整方式或综合运用两种方式完成坐标系变换关系调整，坐标系变换关系包括旋转关系及平移关系，正向调整通过设定旋转角度与平移值，或者增大或减小旋转角度与平移值的互动方式，获得新的旋转平移关系；逆向调整通过直接设定位姿值或增大或减小位姿值的互动操作方式，先获得教学人员在沉浸式教学场景里的位姿，再根据位姿反推计算得到坐标系的旋转平移关系。
8.根据权利要求7所述的基于扩展现实（XR）技术沉浸式微课的录制方法，其特征在于，所述步骤S1具体为初始化沉浸式教学场景，初始设置沉浸式教学场景内各对象状态值包括对XR互动教学资源各虚拟物体状态、虚拟教学工具状态、虚拟显示屏上多媒体演示状态，调用默认值或手动进行这些状态值的初始化设置，虚拟教学工具包括虚拟教鞭、虚拟书写笔、虚拟显示屏，所述步骤S4具体为接收包括语音、人的手势、肢体语言、表情、以及输入设备或XR终端发送过来的互动操作命令，实现教学人员与教学内容的互动，在此基础上更新教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、多媒体播放状态、XR互动教学资源内各虚拟物体状态；所述步骤S5记录沉浸式教学动画具体包括：记录教学人员动画帧数据，所述教学人员动画帧数据包含教学人员形态表征与教学人员形态表征在沉浸式教学场景里的位姿值，记录虚拟摄像机动画帧数据，所述虚拟摄像机动画帧数据为虚拟摄像机位姿值，记录虚拟教鞭动画帧数据，所述虚拟教鞭动画帧数据包含虚拟教鞭的位姿值以及需要高亮或取消高亮的虚拟物体，记录虚拟书写笔动画帧数据，所述虚拟书写笔动画帧数据包含书写笔位姿值、选择的颜色、笔记粗细、以及开始书写或停止书写状态参数，记录虚拟教学显示屏动画帧数据，所述虚拟教学显示屏动画帧数据只包含虚拟显示屏位姿数据，记录多媒体演示状态帧数据，所述多媒体演示状态帧数据包含演示文件类型、文件名以及文件的演示状态，记录当前教学内容动画帧数据，所述教学内容动画帧数据包含XR互动教学资源里各虚拟物体的状态值，记录教学语音序列帧数据，所述教学语音序列帧数据为在当前时刻开始的语音片段；所述步骤S6具体为把从步骤S5记录生成的沉浸式教学动画各通道，以及步骤S1加载的XR互动教学资源与多媒体教学资源，打包生成一个微课资源包。
9.一种基于扩展现实（XR）技术沉浸式微课的录制系统，其特征在于，所述基于扩展现实（XR）技术沉浸式微课的录制系统包括
光电信息处理模块，用来提取教学人员形态表征，包括能分割出人像，进行三维重建获得三维人像，计算出人体骨骼运动状态向量、人脸表情状态向量；其次，通过视觉计算获得光电传感器、教学人员在录课现场的位姿信息；然后，进行教学人员手势、肢体语言、人脸表情与视觉互动命令的匹配计算，生成教学互动输入；
音频处理模块，用来提取教学人员在录课现场的教学语音；
初始化设置模块，用于加载XR互动教学资源、多媒体教学资源及教学人员并初始化设置沉浸式教学场景内各对象的状态值；
旋转平移模块，用于接收教学互动输入调整录课现场到沉浸式教学场景的坐标系旋转平移关系，使教学人员在沉浸式教学场景内进行移动；
同步赋值模块，用于将教学人员的形态表征数据同步到沉浸式教学场景中的教学人员对象并赋值给教学人员对象相应子对象，所述子对象有三个，包括人像抠图图片、三维重建的人像、虚拟三维仿真人像；
更新状态模块，用于根据接收的互动操作指令更新沉浸式教学场景中教学人员位姿状态、虚拟摄像机位姿状态、虚拟教学工具状态、多媒体播放状态、XR互动教学资源内各虚拟物体状态；
记录判断模块，用于记录各个通道动画在各时刻记录的帧数据形成的帧序列并判断是否接收到结束录制微课指令，若是，则执行打包模块，若否，则判断是否有调整坐标系关系的命令，若是，则根据命令调整坐标系关系并返回旋转平移模块，若否则返回同步赋值模块；
打包模块，用于将记录生成的各通道动画与加载的XR互动教学资源与多媒体教学资源打包生成微课资源包。
CN202210331612.3A 2022-03-31 2022-03-31 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 Active CN115379278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210331612.3A CN115379278B (zh) 2022-03-31 2022-03-31 基于扩展现实（xr）技术沉浸式微课的录制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210331612.3A CN115379278B (zh) 2022-03-31 2022-03-31 基于扩展现实（xr）技术沉浸式微课的录制方法及系统

Publications (2)

Publication Number Publication Date
CN115379278A CN115379278A (zh) 2022-11-22
CN115379278B true CN115379278B (zh) 2023-09-05

Family

ID=84060580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210331612.3A Active CN115379278B (zh) 2022-03-31 2022-03-31 基于扩展现实（xr）技术沉浸式微课的录制方法及系统

Country Status (1)

Country Link
CN (1) CN115379278B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360593B (zh) * 2023-03-10 2023-11-24 深圳职业技术学院 基于xr技术的沉浸式教案系统的教学方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制系统及方法
CN106846448A (zh) * 2017-02-09 2017-06-13 武汉吉客威睿数字科技有限公司 一种基于虚拟现实的微课录制方法及系统
CN109961520A (zh) * 2019-01-29 2019-07-02 深圳职业技术学院 一种基于第三视角技术的vr/mr教室及其构建方法
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN113095969A (zh) * 2021-03-11 2021-07-09 华中师范大学 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN113362471A (zh) * 2021-05-27 2021-09-07 深圳市木愚科技有限公司 基于教学语义的虚拟老师肢体动作生成方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制系统及方法
CN106846448A (zh) * 2017-02-09 2017-06-13 武汉吉客威睿数字科技有限公司 一种基于虚拟现实的微课录制方法及系统
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN109961520A (zh) * 2019-01-29 2019-07-02 深圳职业技术学院 一种基于第三视角技术的vr/mr教室及其构建方法
CN113095969A (zh) * 2021-03-11 2021-07-09 华中师范大学 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN113362471A (zh) * 2021-05-27 2021-09-07 深圳市木愚科技有限公司 基于教学语义的虚拟老师肢体动作生成方法及系统

Also Published As

Publication number Publication date
CN115379278A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN109166374B (zh) 基于虚拟现实技术的教学系统
WO2023045144A1 (zh) 一种立体综合教学场系统的工作方法
Reas et al. Processing: a learning environment for creating interactive Web graphics
CN114327060B (zh) 一种基于ai助手的虚拟教学系统的工作方法
KR20200134575A (ko) 증강현실을 통한 발레 공연 시스템 및 방법
CN113709543A (zh) 基于虚拟现实的视频处理方法、装置、电子设备和介质
CN115379278B (zh) 基于扩展现实（xr）技术沉浸式微课的录制方法及系统
Zhang et al. The Application of Folk Art with Virtual Reality Technology in Visual Communication.
CN109032339A (zh) 一种实时智能体感同步的方法及系统
Liyuan The application of virtual reality and augmented reality technology in the field of Education
CN114237389A (zh) 一种基于全息成像的增强教学环境中临场感生成方法
Gao et al. Realization of music-assisted interactive teaching system based on virtual reality technology
He et al. Design and implementation of virtual simulation teaching system for UAV based on WEBGL
Zhou et al. Design research and practice of augmented reality textbook
CN114004577A (zh) 一种输电线路高空作业基于vr仿真培训系统
Cui et al. Multimedia display of wushu intangible cultural heritage based on interactive system and artificial intelligence
Zhou Interactive simulation teaching system of electrical engineering based on virtual reality
Rahman et al. Authoring edutainment content through video annotations and 3d model augmentation
Wang et al. Design and Implementation of Children's Games Based on Mixed Reality
Ji et al. Exploring traditional handicraft learning mode using WebAR technology
Kim et al. A situated experiential learning system based on a real-time 3D virtual studio
JP2006293103A (ja) 教育システムおよびその方法
Guo Research on application of digital interactive display technology in digital museum
Li et al. Design of Teaching System of Industrial Robots Using Mixed Reality Technology.
Wang et al. Design and Development of Campus Environment Display System Based on Augmented Reality Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant