CN113095969A - 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 - Google Patents

一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 Download PDF

Info

Publication number
CN113095969A
CN113095969A CN202110268564.3A CN202110268564A CN113095969A CN 113095969 A CN113095969 A CN 113095969A CN 202110268564 A CN202110268564 A CN 202110268564A CN 113095969 A CN113095969 A CN 113095969A
Authority
CN
China
Prior art keywords
teaching
virtual
immersive
teachers
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110268564.3A
Other languages
English (en)
Other versions
CN113095969B (zh
Inventor
杨宗凯
钟正
吴砥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202110268564.3A priority Critical patent/CN113095969B/zh
Publication of CN113095969A publication Critical patent/CN113095969A/zh
Application granted granted Critical
Publication of CN113095969B publication Critical patent/CN113095969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9027—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于信息技术的教学应用领域，提供一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法，包括沉浸式教学环境生成模块、多虚拟化身的沉浸式翻转教学模块和教学服务模块；本发明借助VR技术创建一系列虚拟教学空间构建工具；根据主干学科的需要，生成具有知识树的虚拟教学资源与虚拟化身库，提供一系列虚拟场景与虚拟化身的编辑工具，支持交互式场景的生成和虚拟化身的定制，通过热更新将经过适配的资源包推送到师生终端，为翻转课堂提供一种新的互动方式和呈现形态。

Description

一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作 方法
技术领域
本发明属于信息技术的教学应用领域，更具体地，涉及一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法。
背景技术
翻转课堂作为一种高效、便利、灵活的课堂教学模式，在中小学教学实践中得到较为广泛的应用，也暴露了一些低效、缺乏联接等缺陷。沉浸式翻转课堂教学系统利用VR技术的沉浸性、交互性、想象性和智能性的特征，构建超越屏幕限制的教学空间，创设具备高度沉浸感、自然高效的交互方式和视听效果的新型情境化教学环境。使用虚拟化身作为师生在虚拟教学环境中的代表，可提高学习者的专注度和参与感，有助于激发学习兴趣。借助沉浸式翻转课堂教学系统，在虚拟教学资源中引入不同功能的虚拟化身，教师能够创设不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核等教学活动；学习者能够课前自主预先，课中提问、展示和讨论，课后复习等教学活动。沉浸式翻转课堂教学系统有利于推进课堂教学改革，提高翻转课堂的教学效率，拥有广阔的应用前景。
现有翻转课堂教学系统主要是从在线教学系统转换而来，存在如下问题：(1)教学绩效不明显：现有在线视频直播教学下师生被分隔在屏幕两端，学习者容易产生孤独感，易分心，在教学活动中教师较难针对学习者的个性和共性问题展开针对性的教学改进；(2)情境化教学环境不够逼真：受网络带宽和渲染能力的影响，现有VR技术、资源、终端和应用均将大量的渲染工作放在用户终端，较难营造出一个师生互动、生生互动的沉浸式教学环境；(3)互动性不足：学习者通过导学方案等文字、图片形式开展预习、讨论和复习，缺乏实时、多样化的多模态交互方式，难以满足信息化教学模式的创新需要。这些缺陷限制翻转课堂在实际教学场景中的应用。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法，为翻转课堂提供一种新的互动方式和呈现形态。
本发明的目的是通过以下技术措施实现的。
本发明提供一种基于多虚拟化身的沉浸式翻转课堂教学系统，包括沉浸式教学环境生成模块、多虚拟化身的沉浸式翻转教学模块和教学服务模块；
所述沉浸式教学环境生成模块，包括虚拟教学资源管理子模块、虚拟教学空间创建子模块和沉浸式教学资源发布与推送子模块；根据中学物理、化学、生科、小学科学主干学科的需要，构建具有知识树的虚拟教学资源与虚拟化身库，创建一系列虚拟场景与虚拟化身的编辑工具，支持交互式场景的生成和虚拟化身的定制，利用VR技术创建一系列虚拟教学空间构建工具；支持沉浸式教学资源的发布，通过热更新的形式将经过适配的资源包推送到师生终端；
所述虚拟教学资源管理子模块，根据中学物理、化学、生科、小学科学主干学科的需要，构建一套虚拟教学资源库以及虚拟化身模型库，支持师生动态定制虚拟化身模型；基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签；
所述虚拟教学空间创建子模块，通过虚拟场景编辑工具，构建虚拟教学空间中的交互式场景；师生使用虚拟化身定制工具，生成形态各异的虚拟化身；利用VR技术开发一系列虚拟空间构建工具，创设虚拟教学空间；
所述沉浸式教学资源发布和推送子模块，用于教师通过设置输出参数，将虚拟资源发布成沉浸式教学资源；根据师生显示终端的属性，提供不同分辨率的资源版本，实现教学资源的多终端内容适配；根据权限，可将沉浸式教学资源数据包推送到师生终端；
所述多虚拟化身的沉浸式翻转教学模块，包括多虚拟化身的教学互动子模块、教学活动子模块和学习活动子模块；支持师生以虚拟化身的形式进入沉浸式教学空间，凭借采集设备捕捉师生交互数据，驱动虚拟化身同步执行相应动作，实现师生、生生之间协作学习和对话交流；支持教师设置、生成不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核；支持学习者课前自主预习，课中提问、展示和讨论，课后复习；
所述教学互动子模块，支持师生以虚拟化身的形式进入沉浸式教学空间，认知、探究相关问题，并能看到彼此；通过采集设备捕捉师生数据，驱动虚拟化身同步执行相应动作；使用视觉、听觉、触觉感知交互模块，实现多感官交互与师生、生生之间协作学习和对话交流；
所述教学活动子模块，用于课前环节，教师编辑和修改虚拟教学资源与化身模型，在虚拟教学环境中创设不同的导学情境；课中环节运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，开展讨论、答疑和交流；课后环节，教师设置交互引导、结构认知、自主探究、知识拓展不同考核情境，训练学习者的熟练程度和反馈速度；
所述学习活动子模块，用于课前环节，学习者登录沉浸式教学环境，通过可视化的方式预先知识点，重复练习较难掌握的操作步骤；课中环节，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示；课后环节，学习者能在不同的考核情境中完成练习和复习任务；
所述教学服务模块，包括测试子模块、学情分析与反馈子模块，和教学支持服务子模块；通过个人和小组测试，检测学习者对知识的掌握程度，引入AI测试助教，根据收集到的测试结果和过程数据，生成班级共性或学习者个性化的诊断结果，依据实时采集的数据，完成学习者的学习行为分析报告；基于混合协同智能推荐算法，将相关资源推送给学习者，采用云渲染平台实时生成虚拟教学资源的画面，实现对教学服务系统的统一管理；
所述测试子模块，通过设置难度适宜的练习情景，检验学习者对知识的掌握情况；使用小组测试功能，检测学习者对小组协作学习和不同情境的熟练程度；引入AI测试助教，为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒功能；
所述学情分析与反馈子模块，当学习者进入测试子模块，将会自动开启数据收集功能，记录测试过程的学习行为和学习成绩；教师分析学习者测试结果与过程数据，生成班级共性或学习者个性化的诊断结果；实时采集虚拟化身的交互数据，检验并生成学习者的学习行为分析报告；
所述教学支持服务子模块，采用基于用户和项目推荐算法的混合协同智能推荐算法，将相关的沉浸式教学资源推送给学习者；采用云渲染平台实时生成情境化虚拟教学资源的画面；实现对整个教学服务系统的统一管理。
本发明还提供一种上述的基于多虚拟化身的沉浸式翻转课堂教学系统的工作方法，包括以下步骤：
(1)虚拟教学资源管理。构建一套中小学理化生学科的虚拟教学资源库以及虚拟化身模型库，支持师生定制虚拟化身，基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签。
(2)虚拟教学空间的构建。利用VR技术开发一系列虚拟空间构建工具，构建交互式虚拟场景，定制虚拟化身的外观形象，创设虚拟教学空间。
(3)沉浸式教学资源的发布和推送。教师可将编辑好的虚拟资源发布成沉浸式教学资源，提供不同分辨率的资源版本，实现教学资源的多终端内容适配，将数据包推送到师生终端。
(4)多虚拟化身的教学互动。支持师生以虚拟化身的形式进入沉浸式教学空间，凭借采集设备捕捉师生交互数据，驱动虚拟化身同步执行相应动作，实现师生、生生之间协作学习和对话交流。
(5)教学活动开展。支持教师课前创设沉浸式导学情境，课中创设合作与探究的教学情境，开展讲解、答疑和交流，课后可设置交互引导、结构认知、自主探究、知识拓展等不同考核情境。
(6)学习活动开展。学习者在沉浸式教学环境自主预先知识点，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示，在考核情境中完成练习和复习任务。
(7)测试功能。通过个人和小组测试，检测学习者对知识掌握的熟练程度，引入AI测试助教，为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒等功能。
(8)学情分析与反馈。根据收集到的测试结果和过程数据，生成班级共性或学习者个性化的诊断结果，依据实时采集的数据，完成学习者的学习行为分析报告。
(9)教学支持服务。基于混合协同智能推荐算法，将相关资源推送给学习者，采用云渲染平台实时生成虚拟教学资源的画面，实现对教学服务系统的统一管理。
本发明的有益效果在于：
构建一个基于多虚拟化身的沉浸式翻转课堂教学系统，借助VR技术创建一系列虚拟教学空间构建工具；根据中学物理、化学、生科、小学科学等主干学科的需要，生成具有知识树的虚拟教学资源与虚拟化身库，提供一系列虚拟场景与虚拟化身的编辑工具，支持交互式场景的生成和虚拟化身的定制，通过热更新将经过适配的资源包推送到师生终端。支持教师创设不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核等教学活动；支持学习者课前自主预先，课中提问、展示和讨论，课后复习等教学活动；使用采集设备捕捉真实环境中师生交互数据，驱动沉浸式教学空间中虚拟化身同步执行相应动作，实现师生、生生之间协作学习和对话交流；通过个人和小组测试，并引入AI测试助教，检测学习者对知识的掌握程度；根据收集到的测试结果、过程数据和学习行为数据，生成班级共性或学习者个性化的诊断结果，完成学习者的学习行为分析报告；基于混合协同智能推荐算法，将相关资源推送给学习者，采用云渲染平台实时生成虚拟教学资源的画面，实现对教学服务系统的统一管理。
附图说明
图1是本发明实施例中基于多虚拟化身的沉浸式翻转课堂教学系统架构图，主要包括沉浸式教学资源编辑、多虚拟化身的沉浸式翻转教学和教学服务模块。
图2是本发明实施例中沉浸式教学环境生成模块示例图。
图3是本发明实施例中初中物理学科知识树中有关电学电功率部分示例图。
图4是本发明实施例中知识标签生成过程示例图。
图5是本发明实施例中沉浸式教学资源的发布和推送示例图。
图6是本发明实施例中多虚拟化身的沉浸式翻转教学模块示例图，包括多虚拟化身的教学互动、教学活动和学习活动子模块。
图7是本发明实施例中教学活动子模块示例图。
图8是本发明实施例中师生虚拟化身实时讨论示例图
图9是本发明实施例中教学服务模块示例图，包括测试、学情分析与反馈和教学支持服务子模块。
图10是本发明实施例中AI智能测试助手示例图。
图11是本发明实施例中学习者的学习行为分析报告示例图。
图12是本发明实施例中教学支持服务子模块示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种基于多虚拟化身的沉浸式翻转课堂教学系统，包括数据管理模块、网络传输模块、云渲染模块、沉浸式教学环境生成模块、多虚拟化身的沉浸式翻转教学和教学服务模块；
所述数据管理模块用于管理沉浸式教学空间生成中的虚拟教学资源库、虚拟化身库和学科知识库；
所述网络传输模块用于实现师生VR终端与云渲染引擎之间的视频流和VR全景影像数据传输；
所述云渲染模块用于实现沉浸式教学活动中视频流和VR全景影像的高速渲染；
所述沉浸式教学环境生成模块，用于实现虚拟场景编辑、管理和交互，虚拟化身的选择、定制，虚拟教学资源生成、虚拟教学空间创建和虚拟教学情境的构建，以及沉浸式教学资源发布与推送；所述沉浸式教学环境生成模块，包括虚拟教学资源管理子模块、虚拟教学空间创建子模块和沉浸式教学资源发布与推送子模块。
所述多虚拟化身的沉浸式翻转教学模块，用于实现沉浸式翻转教学中师生的视频直播、虚拟化身表示的教师、学生在课前、课中和课后环节开展的教学和学习活动；所述多虚拟化身的沉浸式翻转教学模块，包括多虚拟化身的教学互动子模块、教学活动子模块和学习活动子模块。
所述教学服务模块，用于实现学习者的考核测试、学情分析与反馈以及教学支持服务；所述教学服务模块，包括测试子模块、学情分析与反馈子模块，和教学支持服务子模块。
本实施例还提供一种上述的基于多虚拟化身的沉浸式翻转课堂教学系统的工作方法(以下具体说明系统中各模块的工作流程)：
(1)沉浸式教学环境生成模块。根据中学物理、化学、生科、小学科学等主干学科的需要，构建如图2所示的沉浸式教学环境生成模块，具有知识树的虚拟教学资源与虚拟化身库，创建一系列虚拟场景与虚拟化身的编辑工具，支持交互式场景的生成和虚拟化身的定制，利用VR技术创建一系列虚拟教学空间构建工具；支持沉浸式教学资源的发布，通过热更新的形式将经过适配的资源包推送到师生终端。
(1-1)虚拟教学资源管理子模块。根据中学物理、化学、生科、小学科学等主干学科的需要，构建一套虚拟教学资源库以及虚拟化身模型库，支持师生动态定制虚拟化身模型；基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签。
(1-1-1)虚拟教学资源库构建。调研、分析中学物理、化学、生物、小学科学等主干学科的教学内容，根据虚拟教学资源建设的需要，收集、制作主干学科所需的3D模型、动作、音视频等素材，构建一套虚拟教学资源库。
(1-1-2)虚拟化身模型库生成。通过结构光快速成像设备采集不同年龄、性别、身高、体重的师生全身模型，开发一个虚拟化身模型库，通过动态纹理贴图映射、网格变换等技术，支持师生动态更换服饰、发型、外貌、体态等显示属性，生成可定制的虚拟化身模型。
(1-1-3)标注知识。按照学段—学科—年级—学期—章节中对知识点分类，构建中小学物理、化学、生物、科学知识树，图3表示初中物理学科知识树中有关电学电功率部分的内容。
然后为虚拟教学资源添加知识标签，譬如虚拟电功率教学资源“电功率”可被标注为#人教版##物理##第十八章##电学##电功率#；
按照外观、用途、类别等属性，为虚拟化身添加知识标签，如中年中等身材带眼镜的男教师：#教师##男性##中年##中等身材##佩戴眼镜#；
构建知识树便于师生精准搜索、查看相关资源和化身所对应的知识点，根据图4所示流程生成语义知识标签。
I.根据各学科主要教学内容，利用多类多标签关联法(MMAC)对教学资源库中的素材进行规范化多标签分类。
II.按照“上下位”“同位”语义关系，整合、清理、歧义消除、归一化和降维处理虚拟资源的标签，通过知识推理和质量评估建立关系、属性等结构化知识单元。
III.将多标签问题转化为多个二元分类任务，为每个标签建立一个决策树，建立标签间的层级关系、属性关系和属性约束。
Figure BDA0002973117310000111
wij表示标签li与标签lj之间的相关性，H(l)表示标签l的信息熵，H(li,lj)表示标签li与标签lj的联合熵，每个实例对应标签l的取值为{0,1}，xi表示标签l的第i个元素取值，
Figure BDA0002973117310000112
Figure BDA0002973117310000113
la和lb表示任意两个标签。
(1-2)沉浸式虚拟教学空间的构建子模块。通过虚拟场景编辑工具，构建虚拟教学空间中的交互式场景；师生使用虚拟化身定制工具，生成形态各异的虚拟化身；利用VR技术开发一系列虚拟空间构建工具，创设虚拟教学空间。
(1-2-1)虚拟场景的构建。通过虚拟场景编辑工具，支持场景模型、动作行为、音视频素材等对象的新建、插入、修改、删除等功能，使用和、差、并、交等编辑操作，关联虚拟场景中模型、纹理材质与多媒体属性，生成个性化、情景式虚拟教学场景，可与师生的虚拟化身组合、变形和扩展形成新的虚拟教学场景。
(1-2-2)虚拟化身的定制。师生根据自身的喜好、偏爱，从虚拟化身模型库中选择可代表自身的虚拟化身，通过虚拟化身定制工具，可将全身模型与服饰、发型、外貌、体态等外观特征组合、形成不同的样式，生成形态各异的虚拟化身形象。
(1-2-3)沉浸式空间的创设。利用VR技术开发一系列虚拟空间构建工具，支持教师创设虚拟教学空间，不同位置的师生可以进入、共享同一空间；师生可以选择、定制自身虚拟化身的形象与外观，以虚拟化身开展协助学习、交流互动；支持项目式、体验式情境教学活动。
(1-3)沉浸式教学资源的发布和推送子模块。教师通过设置输出参数，将资源发布成沉浸式教学资源；根据师生显示终端的属性，提供不同分辨率的资源版本，实现教学资源的多终端内容适配；根据权限，可将沉浸式教学资源数据包推送到师生终端。
(1-3-1)沉浸式教学资源的发布。按照图5所示的沉浸式教学资源的发布和推送示例图，教师可以设置沉浸式教学资源的输出参数，如主摄像机与左右摄像机参数、显示画面的宽高比和分辨率，以及适配VR终端设备，通过创设工具，可将教学资源发布成沉浸式教学资源，并上传到云端保存。
(1-3-2)沉浸式教学资源的多终端适配。根据师生显示终端的操作系统、屏幕比例与尺寸大小等属性，教学服务管理模块会提供不同分辨率的沉浸式资源版本，实现内容的多终端适配；依据教师账号的权限，为其提供浏览、可编辑等不同权限的功能。
(1-3-3)沉浸式教学资源的推送。使用班级管理功能，将本班任课教师下载、创设或编辑的沉浸式教学资源数据包推送到学习者的VR终端；运用视频直播、消息推送和热更新机制，将音视频互动、多模态交互等信息同步更新至师生VR终端的教学空间。
(2)多虚拟化身的沉浸式翻转教学模块。如图6所示，沉浸式翻转教学模块示例图包括多虚拟化身的教学互动、教学活动和学习活动子模块。支持师生以虚拟化身的形式进入沉浸式教学空间，凭借采集设备捕捉师生交互数据，驱动虚拟化身同步执行相应动作，实现师生、生生之间协作学习和对话交流；支持教师设置、生成不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核；支持学习者课前自主预习，课中提问、展示和讨论，课后复习。
(2-1)教学互动子模块。支持师生以虚拟化身的形式进入沉浸式教学空间，认知、探究相关问题，并能看到彼此；通过采集设备捕捉师生数据，驱动虚拟化身同步执行相应动作；使用视觉、听觉、触觉等感知交互模块，实现多感官交互与师生、生生之间协作学习和对话交流。
(2-1-1)沉浸式教学环境中的虚拟化身。根据课程计划、教学任务的要求，支持教师和学习者以虚拟化身的形式进入同一沉浸式教学空间，通过语音提示、交互引导，在虚拟空间中漫游、认知、探究相关问题，参与者不但能看到自己的虚拟化身，也能看到其他参与者的虚拟化身。
(2-1-2)数据驱动的虚拟化身实时动态表示。通过深度摄像头、眼动仪、麦克风等采集设备捕捉教学活动中师生的动作、表情、声音等数据，将其赋予教学环境中的虚拟化身，驱动它们执行点头、抬手、转身等动作，实时动态表示师生的情感、行为。
I.采用视觉识别技术实现沉浸式教学场景中虚拟化身的定位定向，实时观察各虚拟化身的位置变化；
II.利用RGB光色彩识别技术感知教学环境中师生影像，借助穿戴式动作捕捉设备获取师生的精细动作数据，并以BVH格式实时输出；
III.将步骤II中动作数据实时绑定、映射到对应的虚拟化身上，驱动虚拟化身执行相应的动作，实现虚实同步变化；
IV.基于唇音同步校正技术，追踪师生的面部特征变化，根据约束局部模型CLM算法，令虚拟化身的嘴部的运动与其发音一致。表情映射优化模型：
Figure BDA0002973117310000141
Figure BDA0002973117310000142
是第i个点平均的三维坐标，s是3D线性形状模型，Γ是三维线性形状基础，{s，R，γ，t}是弱视角投影参数：缩放，旋转和平移，深度信息，同步映射过程中的预测误差：
Figure BDA0002973117310000143
Figure BDA0002973117310000144
Xi表示人脸面部表情的第i个样本，yi表示表情映射模型图像样本，图像对集合
Figure BDA0002973117310000145
M表示人脸表情图像和虚拟化身表情变化之间的映射关系，代表虚拟化身模的表情。
(2-1-3)沉浸式教学环境中的多虚拟化身互动。师生通过VR终端进入虚拟教学环境，观察由云渲染平台所推送的画面，使用视觉、听觉、触觉等交互模块，实现与虚拟画面的多感官交互，基于虚拟化身的师生、生生之间协作学习和对话交流。
(2-2)教学活动子模块。在图7所示的教学活动子模块示例图中，课前环节，教师可编辑和修改虚拟教学资源与化身模型，在虚拟教学环境中创设不同的导学情境；课中环节运用沉浸式教学空间构建工具，创设合作、探究教学情境，开展讨论、答疑和交流；课后环节，教师可设置交互引导、结构认知、自主探究、知识拓展等不同考核情境，训练学习者的熟练程度和反馈速度。
(2-2-1)课前备课。登录虚拟教学资源库后，教师可通过知识树或者知识标签快速搜索、查询、下载已有教学资源，依据预习、备课和考核的需要，编辑和修改虚拟教学场景、虚拟化身模型，创设不同的导学情境，生成个性化虚拟教学环境。
(2-2-2)课中讨论和情境演练。根据知识点内容、导学方案、学习任务等要求，教师引导学习者通过VR终端进入虚拟教学环境，使用视觉、听觉、触觉等感知交互模块，开展讨论、答疑和交流；运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，令学习者掌握其所传达的知识内容。
(2-2-3)课后复习和考核。教师可在下载的教学资源中设置交互引导、结构认知、自主探究、知识拓展等不同考核情境：通过探索、拆装模型，加深学习者对模型组成结构的认知；支持容错重复操作，为次序颠倒或操作错误设置不同的反应结果。
(2-3)学习活动子模块。课前环节，学习者登录沉浸式教学环境，通过可视化方式预先知识点，重复练习较难掌握的操作步骤；课中环节，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示；课后环节，学习者能在不同的考核情境中完成练习和复习任务。
(2-3-1)课前预习活动。学习者登录教师创设的沉浸式教学环境，借助VR终端观看虚拟教学资源中复杂知识概念的展示，根据导学方案、操作界面、语音提示、交互引导等，重复练习较难掌握的操作步骤，理解、掌握知识点的详细内容、操作方式、参数设置、材料预设、应答行为等，高效地开展自主预习。
(2-3-2)课中协作学习。根据教学任务的要求，教师可将学习者分成若干学习小组，在沉浸式教学环境中，通过虚拟化身的视频直播、多模态交互，实现小组协作学习过程中生生之间的展示、交流和讨论，并能实现师生之间的讲解、提问和答疑。
如图8所示，根据分组讨论情况，师生的虚拟化身可进入不同虚拟房间，房间编号可以按照小组号来命名，如一组在1号房间；通过动作、表情、声音和文字相结合的方式，小组成员在虚拟房间中开展实时在线讨论。
(2-3-3)课后复习。教师使用沉浸式教学空间创设工具，为学习者或者学习小组设置不同关卡、难度、数量的复习情境，通过虚拟化身，学习者或者协作学习的小组成员完成不同角色所需回答的问题、操作等，将完成结果反馈给学习者。
(3)教学服务模块。包括图9所示的测试、学情分析与反馈和教学支持服务子模块。通过个人和小组测试，检测学习者对知识的掌握程度，引入AI测试助教，根据收集到的测试结果和过程数据，生成班级共性或学习者个性化的诊断结果，依据实时采集的数据，完成学习者的学习行为分析报告；基于混合协同智能推荐算法，将相关资源推送给学习者，采用云渲染平台实时生成虚拟教学资源的画面，实现对教学服务系统的统一管理。
(3-1)测试子模块。通过设置难度适宜的练习情景，检验学习者对知识的掌握情况；使用小组测试功能，检测学习者对小组协作学习和不同情境的熟练程度；如图10所示引入AI测试助教，收集多通道交互界面测试数据，利用知识库、几何模型库构建触发机制规则库，通过规则库意图推理为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒、语音反馈等功能。
(3-1-1)个人测试。通过设置难度适宜的练习情景，检验学习者在课前预先、课中练习和课后复习中对知识的掌握情况，如果对问题的理解、操作熟练的掌握程度达到评价标准，则进入下一知识点的测试，记录测试过程各个环节的得分情况，并将测试结果上传到云端存储。
(3-1-2)小组测试。教师可创设小组测试的情境，设置不同的任务难度、关卡级别、角色数量等，学习者的虚拟化身根据其在小组中的任务要求执行相应的操作步骤，小组成员可扮演不同的角色，检测其对不同情境的熟悉程度。
(3-1-3)引入AI测试助教。在测试过程中引入AI测试助教，实时在线协助学习者完成情境性测试操作的分步骤指导、知识讲解、错误提醒等；根据不同步骤设置分数，操作正确就可得分，否则AI测试助教会发出错误提示；每个步骤结束后，均会给出“正确”或“错误”的提醒。
(3-2)学情分析与反馈子模块。当学习者进入测试模块，将会自动开启数据收集功能，记录测试过程的学习行为和学习成绩；教师分析学习者测试结果与过程数据，生成班级共性或学习者个性化的诊断结果；实时采集虚拟化身的交互数据，检验并生成如图11所示的学习者的学习行为分析报告。
(3-2-1)数据收集模块。当学习者进入测试模块后，沉浸式教学环境将开启数据收集功能，自动记录并保存学习者在测试过程中的操作时长、驻留时间、操作步骤、学习成绩、互动习惯、学习路径、求助方式等学习行为数据，并上传到云端存储。
(3-2-2)测试情况诊断。根据上传到云端的学习者测试结果与过程数据，教师分析其在不同情境、不同环节(如结构认知、自主探究、知识拓展等)的知识掌握情况，生成班级共性或学习者个性化的诊断结果。
基于大数据分析的多层模型，将学习者的操作数据在元数据层通过ETL进行抽取、转换和加载，利用统计学中的相关指标统计分析数据探索层，利用卷积神经网络算法诊断测试过程，
Figure BDA0002973117310000181
f是ReLU函数，l是网络的层数，Mj为输入特征映射，
Figure BDA0002973117310000182
为每个测试结果特征映射在输出时的偏差，k为3*3矩阵的卷积核。
将数据分析和数据挖掘得出的结果在数据展示层通过可视化图表等形式直观展示，便教师及时做出决策。
(3-2-3)学习行为评价。实时采集虚拟化身在沉浸式教学环境中动作、视线和眼动数据，如在不同教学情境中点头、抬手、转身等动作频率、停留时长以及关注点的移动轨迹等，分析学习者视觉注意力的变化，检验并生成其对不同情境、不同知识点的学习行为分析报告。
(3-3)教学支持服务子模块。如图12所示，基于混合协同智能推荐算法，将相关沉浸式教学资源推送给学习者；采用云渲染平台实时生成情境化虚拟教学资源的画面；实现对整个教学服务系统的统一管理。
(3-3-1)教学资源推荐。根据学情分析与反馈的结果，将学习者在课前、课中、课后阶段的薄弱环节反馈给教师，基于混合协同智能推荐算法，按照师生、生生间的评分数据生成评分矩阵，通过预测值计算公式找到最适合的教学资源知识点，计算学习者数据与教学资源之间的相似性，
Figure BDA0002973117310000191
j表示k个最相似资源数据集，ru，j表示学习者a在资源j上的得分，
Figure BDA0002973117310000192
表示资源i和资源j之间的相似性，ru，j表示学习者u在资源i上的学习得分，ru表示学习者u的平均得分，通过计算预测评分值，生成教学资源推荐结果。
(3-3-2)云渲染模块。为满足教学活动中师生的互动与虚拟教学空间逼真显示的需要，支持多虚拟化身的表情、动作表示以及与虚拟教学资源的多模态实时互动，采用云渲染平台快速生成虚拟教学环境的画面。
(3-3-3)教学服务管理。实现对整个沉浸式翻转教学服务系统的统一管理，包括教师权限，教学资源，教学活动，班级管理，学习小组管理，云渲染服务、系统设置，数据存储、备份和恢复等，保证教学系统的安全性和数据的完整性与一致性。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多虚拟化身的沉浸式翻转课堂教学系统，其特征在于：包括沉浸式教学环境生成模块、多虚拟化身的沉浸式翻转教学模块、教学服务模块；
所述沉浸式教学环境生成模块，包括虚拟教学资源管理子模块、虚拟教学空间创建子模块和沉浸式教学资源发布与推送子模块；根据中学物理、化学、生科、小学科学主干学科的需要，构建具有知识树的虚拟教学资源与虚拟化身库，创建一系列虚拟场景与虚拟化身的编辑工具，支持交互式场景的生成和虚拟化身的定制，利用VR技术创建一系列虚拟教学空间构建工具；支持沉浸式教学资源的发布，通过热更新的形式将经过适配的资源包推送到师生终端；
所述多虚拟化身的沉浸式翻转教学模块，包括多虚拟化身的教学互动子模块、教学活动子模块和学习活动子模块；支持师生以虚拟化身的形式进入沉浸式教学空间，凭借采集设备捕捉师生交互数据，驱动虚拟化身同步执行相应动作，实现师生、生生之间协作学习和对话交流；支持教师设置、生成不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核；支持学习者课前自主预习，课中提问、展示和讨论，课后复习；
所述教学服务模块，包括测试子模块、学情分析与反馈子模块，和教学支持服务子模块；通过个人和小组测试，检测学习者对知识的掌握程度，引入AI测试助教，根据收集到的测试结果和过程数据，生成班级共性或学习者个性化的诊断结果，依据实时采集的数据，完成学习者的学习行为分析报告；基于混合协同智能推荐算法，将相关资源推送给学习者，采用云渲染平台实时生成虚拟教学资源的画面，实现对教学服务系统的统一管理。
2.根据权利要求1所述的基于多虚拟化身的沉浸式翻转课堂教学系统，其特征在于：所述虚拟教学资源管理子模块，根据中学物理、化学、生科、小学科学主干学科的需要，构建一套虚拟教学资源库以及虚拟化身模型库，支持师生动态定制虚拟化身模型；基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签；
所述虚拟教学空间创建子模块，通过虚拟场景编辑工具，构建虚拟教学空间中的交互式场景；师生使用虚拟化身定制工具，生成形态各异的虚拟化身；利用VR技术开发一系列虚拟空间构建工具，创设虚拟教学空间；
所述沉浸式教学资源发布与推送子模块，用于教师通过设置输出参数，将虚拟资源发布成沉浸式教学资源；根据师生显示终端的属性，提供不同分辨率的资源版本，实现教学资源的多终端内容适配；根据权限，将沉浸式教学资源数据包推送到师生终端。
3.根据权利要求1所述的基于多虚拟化身的沉浸式翻转课堂教学系统，其特征在于：所述教学互动子模块，支持师生以虚拟化身的形式进入沉浸式教学空间，认知、探究相关问题，并能看到彼此；通过采集设备捕捉师生数据，驱动虚拟化身同步执行相应动作；使用视觉、听觉、触觉感知交互模块，实现多感官交互与师生、生生之间协作学习和对话交流；
所述教学活动子模块，用于课前环节，教师编辑和修改虚拟教学资源与化身模型，在虚拟教学环境中创设不同的导学情境；课中环节运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，开展讨论、答疑和交流；课后环节，教师设置交互引导、结构认知、自主探究、知识拓展不同考核情境，训练学习者的熟练程度和反馈速度；所述学习活动子模块，用于课前环节，学习者登录沉浸式教学环境，通过可视化的方式预先知识点，重复练习较难掌握的操作步骤；课中环节，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示；课后环节，学习者能在不同的考核情境中完成练习和复习任务。
4.根据权利要求1所述的基于多虚拟化身的沉浸式翻转课堂教学系统，其特征在于：所述测试子模块，通过设置难度适宜的练习情景，检验学习者对知识的掌握情况；使用小组测试功能，检测学习者对小组协作学习和不同情境的熟练程度；引入AI测试助教，为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒功能；
所述学情分析与反馈子模块，当学习者进入测试子模块，将会自动开启数据收集功能，记录测试过程的学习行为和学习成绩；教师分析学习者测试结果与过程数据，生成班级共性或学习者个性化的诊断结果；实时采集虚拟化身的交互数据，检验并生成学习者的学习行为分析报告；
所述教学支持服务子模块，采用基于用户和项目推荐算法的混合协同智能推荐算法，将相关的沉浸式教学资源推送给学习者；采用云渲染平台实时生成情境化虚拟教学资源的画面；实现对整个教学服务系统的统一管理。
5.一种如权利要求1所述的基于多虚拟化身的沉浸式翻转课堂教学系统的工作方法，其特征在于：
(1)沉浸式教学环境生成
(1-1)根据中学物理、化学、生科、小学科学主干学科的需要，构建一套虚拟教学资源库以及虚拟化身模型库，支持师生动态定制虚拟化身模型；基于学科知识树为虚拟教学资源和虚拟化身模型添加知识标签；
(1-1-1)虚拟教学资源库构建，调研、分析中学物理、化学、生物、小学科学主干学科的教学内容，根据虚拟教学资源建设的需要，收集、制作主干学科所需的3D模型、动作、音视频素材，构建一套虚拟教学资源库；
(1-1-2)虚拟化身模型库生成，通过结构光快速成像设备采集不同年龄、性别、身高、体重的师生全身模型，开发一个虚拟化身模型库，通过动态纹理贴图映射、网格变换技术，支持师生动态更换服饰、发型、外貌、体态显示属性，生成可定制的虚拟化身模型；
(1-1-3)标注知识，按照学段—学科—年级—学期—章节中对知识点分类，构建中学物理、化学、生物、小学科学知识树，为各个虚拟资源添加知识标签；按照外观、用途、类别属性，为虚拟化身添加知识标签，便于师生精准搜索、查看相关资源和化身所对应的知识点；
(1-2)通过虚拟场景编辑工具，构建虚拟教学空间中的交互式场景；师生使用虚拟化身定制工具，生成形态各异的虚拟化身；利用VR技术开发一系列虚拟空间构建工具，创设虚拟教学空间；
(1-2-1)虚拟场景的构建，通过虚拟场景编辑工具，支持场景模型、动作行为、音视频素材对象的新建、插入、修改、删除功能，使用和、差、并、交编辑操作，关联虚拟场景中模型、纹理材质与多媒体属性，生成个性化、情景式虚拟教学场景，可与师生的虚拟化身组合、变形和扩展形成新的虚拟教学场景；
(1-2-2)虚拟化身的定制，师生根据自身的喜好、偏爱，从虚拟化身模型库中选择可代表自身的虚拟化身，通过虚拟化身定制工具，将全身模型与服饰、发型、外貌、体态外观特征组合、形成不同的样式，生成形态各异的虚拟化身形象；
(1-2-3)沉浸式空间的创设，利用VR技术开发一系列虚拟空间构建工具，支持教师创设虚拟教学空间，不同位置的师生可以进入、共享同一空间；师生选择、定制自身虚拟化身的形象与外观，以虚拟化身开展协助学习、交流互动；支持项目式、体验式情境教学活动；
(1-3)教师通过设置输出参数，将虚拟资源发布成沉浸式教学资源；根据师生显示终端的属性，提供不同分辨率的资源版本，实现教学资源的多终端内容适配；根据权限，将沉浸式教学资源数据包推送到师生终端；
(1-3-1)沉浸式教学资源的发布，教师设置沉浸式教学资源的输出参数，包括主摄像机与左右摄像机参数、显示画面的宽高比和分辨率，以及适配VR终端设备，通过创设工具，将教学资源发布成沉浸式教学资源，并上传到云端保存；
(1-3-2)沉浸式教学资源的多终端适配，根据师生显示终端的操作系统、屏幕比例与尺寸大小属性，教学服务管理模块会提供不同分辨率的沉浸式资源版本，实现内容的多终端适配；依据教师账号的权限，为其提供浏览、可编辑不同功能；
(1-3-3)沉浸式教学资源的推送，使用班级管理功能，将本班任课教师下载、创设或编辑的沉浸式教学资源数据包推送到学习者的VR终端；运用视频直播、消息推送和热更新机制，将音视频互动、多模态交互信息同步更新至师生VR终端的教学空间；
(2)多虚拟化身的沉浸式翻转教学
(2-1)根据课程计划、教学任务的要求，支持师生以虚拟化身的形式进入沉浸式教学空间，认知、探究相关问题，并能看到彼此；通过采集设备捕捉师生数据，驱动虚拟化身同步执行相应动作；使用视觉、听觉、触觉感知交互模块，实现多感官交互与师生、生生之间协作学习和对话交流；
(2-1-1)沉浸式教学环境中的虚拟化身，根据课程计划、教学任务的要求，支持教师和学习者以虚拟化身的形式进入同一沉浸式教学空间，通过语音提示、交互引导，在虚拟空间中漫游、认知、探究相关问题，参与者不但能看到自己的虚拟化身，也能看到其他参与者的虚拟化身；
(2-1-2)数据驱动的虚拟化身实时动态表示，通过深度摄像头、眼动仪、麦克风采集设备捕捉教学活动中师生的动作、表情、声音数据，将其赋予教学环境中的虚拟化身，驱动它们执行点头、抬手、转身动作，实时动态表示师生的情感、行为；
(2-1-3)沉浸式教学环境中的多虚拟化身互动，师生通过VR终端进入虚拟教学环境，观察由云渲染平台所推送的画面，使用视觉、听觉、触觉交互模块，实现与虚拟画面的多感官交互，基于虚拟化身的师生、生生之间协作学习和对话交流；
(2-2)课前环节，教师编辑和修改虚拟教学资源与化身模型，在虚拟教学环境中创设不同的导学情境；课中环节运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，开展讨论、答疑和交流；课后环节，教师设置交互引导、结构认知、自主探究、知识拓展不同考核情境，训练学习者的熟练程度和反馈速度；
(2-2-1)课前备课，登录虚拟教学资源库后，教师通过知识树或者知识标签快速搜索、查询、下载已有教学资源，依据预习、备课和考核的需要，编辑和修改虚拟教学场景、虚拟化身模型，创设不同的导学情境，生成个性化虚拟教学环境；
(2-2-2)课中讨论和情境演练，根据知识点内容、导学方案、学习任务要求，教师引导学习者通过VR终端进入虚拟教学环境，使用视觉、听觉、触觉感知交互模块，开展讨论、答疑和交流；运用沉浸式教学空间构建工具，创设情境化的合作、探究教学情境，令学习者掌握其所传达的知识内容；
(2-2-3)课后复习和考核，教师在下载的教学资源中设置交互引导、结构认知、自主探究、知识拓展不同考核情境：通过探索、拆装模型，加深学习者对模型组成结构的认知；支持容错重复操作，为次序颠倒或操作错误设置不同的反应结果；
(2-3)课前环节，学习者登录沉浸式教学环境，通过可视化的方式预先知识点，重复练习较难掌握的操作步骤；课中环节，通过虚拟化身的视频直播、多模态交互，实现师生、生生之间的答疑、交流、讨论和展示；课后环节，学习者能在不同的考核情境中完成练习和复习任务；
(2-3-1)课前预习活动，学习者登录教师创设的沉浸式教学环境，借助VR终端观看虚拟教学资源中复杂知识概念的展示，根据导学方案、操作界面、语音提示、交互引导，重复练习较难掌握的操作步骤，理解、掌握知识点的详细内容、操作方式、参数设置、材料预设、应答行为，高效地开展自主预习；
(2-3-2)课中协作学习，根据教学任务的要求，教师将学习者分成若干学习小组，在沉浸式教学环境中，通过虚拟化身的视频直播、多模态交互，实现小组协作学习过程中生生之间的展示、交流和讨论，并能实现师生之间的讲解、提问和答疑；
(2-3-3)课后复习，教师使用沉浸式教学空间创设工具，为学习者或者学习小组构建不同关卡、难度、数量的复习情境，通过虚拟化身，学习者或者协作学习的小组成员完成不同角色所需回答的问题、操作，将完成结果反馈给学习者；
(3)教学服务
(3-1)通过设置难度适宜的练习情景，检验学习者对知识的掌握情况；使用小组测试功能，检测学习者对小组协作学习和不同情境的熟练程度；引入AI测试助教，为学习者提供实时在线操作的分步骤指导、知识讲解、错误提醒功能；
(3-1-1)个人测试，通过设置难度适宜的练习情景，检验学习者在课前预先、课中练习和课后复习中对知识的掌握情况，如果对问题的理解、操作熟练的掌握程度达到评价标准，则进入下一知识点的测试，记录测试过程各个环节的得分情况，并将测试结果上传到云端存储；
(3-1-2)小组测试，教师创设小组测试的情境，设置不同的任务难度、关卡级别、角色数量，学习者的虚拟化身根据其在小组中的任务要求执行相应的操作步骤，小组成员扮演不同的角色，检测其对不同情境的熟悉程度；
(3-1-3)引入AI测试助教，在测试过程中引入AI测试助教，实时在线协助学习者完成情境性测试操作的分步骤指导、知识讲解、错误提醒；根据不同步骤设置分数，操作正确就得分，否则AI测试助教会发出错误提示；每个步骤结束后，均会给出“正确”或“错误”的提醒；
(3-2)当学习者进入测试子模块，将会自动开启数据收集功能，记录测试过程的学习行为和学习成绩；教师分析学习者测试结果与过程数据，生成班级共性或学习者个性化的诊断结果；实时采集虚拟化身的交互数据，检验并生成学习者的学习行为分析报告；
(3-2-1)数据收集，当学习者进入测试子模块后，沉浸式教学环境将开启数据收集功能，自动记录并保存学习者在测试过程中的操作时长、驻留时间、操作步骤、学习成绩、互动习惯、学习路径、求助方式学习行为数据，并上传到云端存储；
(3-2-2)测试情况诊断，根据上传到云端的学习行为数据，教师分析学习者在不同情境、不同环节的知识掌握情况和熟练程度，生成班级共性或学习者个性化的诊断结果；上述环节包括结构认知、自主探究、知识拓展；
(3-2-3)学习行为评价，实时采集虚拟化身在沉浸式教学环境中动作、视线和眼动数据，包括在不同教学情境中点头、抬手、转身动作频率、停留时长以及关注点的移动轨迹，分析学习者视觉注意力的变化，检验并生成其对不同情境、不同知识点的学习行为分析报告；
(3-3)采用基于用户和项目推荐算法的混合协同智能推荐算法，将相关的沉浸式教学资源推送给学习者；采用云渲染平台实时生成情境化虚拟教学资源的画面；实现对整个教学服务系统的统一管理；
(3-3-1)教学资源推荐，根据学情分析与反馈的结果，将学习者在课前、课中、课后阶段的薄弱环节反馈给教师，基于混合协同智能推荐算法，教师将跟该知识点相关的沉浸式教学资源推送给学习者；
(3-3-2)云渲染，为满足教学活动中师生的互动与虚拟教学空间逼真显示的需要，支持多虚拟化身的表情、动作表示以及与虚拟教学资源的多模态实时互动，采用云渲染平台快速生成虚拟教学环境的画面；
(3-3-3)教学服务管理，实现对整个沉浸式翻转教学服务系统的统一管理，包括教师权限，教学资源，教学活动，班级管理，学习小组管理，云渲染服务、系统设置，数据存储、备份和恢复，保证教学系统的安全性和数据的完整性与一致性。
CN202110268564.3A 2021-03-11 2021-03-11 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 Active CN113095969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110268564.3A CN113095969B (zh) 2021-03-11 2021-03-11 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110268564.3A CN113095969B (zh) 2021-03-11 2021-03-11 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法

Publications (2)

Publication Number Publication Date
CN113095969A true CN113095969A (zh) 2021-07-09
CN113095969B CN113095969B (zh) 2022-03-29

Family

ID=76667217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110268564.3A Active CN113095969B (zh) 2021-03-11 2021-03-11 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法

Country Status (1)

Country Link
CN (1) CN113095969B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593351A (zh) * 2021-09-27 2021-11-02 华中师范大学 一种立体综合教学场系统及其工作方法
CN113822777A (zh) * 2021-11-22 2021-12-21 华中师范大学 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法
CN114237389A (zh) * 2021-12-06 2022-03-25 华中师范大学 一种基于全息成像的增强教学环境中临场感生成方法
CN114283634A (zh) * 2022-01-24 2022-04-05 广州佳邦信息科技有限公司 一种基于5g网络环境的虚拟同步课堂教学系统
CN114333477A (zh) * 2021-12-28 2022-04-12 南京财经大学 一种基于ar技术的虚拟仿真教学实训系统
CN114327060A (zh) * 2021-12-24 2022-04-12 华中师范大学 一种基于ai助手的虚拟教学系统的工作方法
US11410570B1 (en) 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN115052194A (zh) * 2022-06-02 2022-09-13 北京新唐思创教育科技有限公司 学习报告生成方法、装置、电子设备及存储介质
CN115097965A (zh) * 2022-06-23 2022-09-23 北京新唐思创教育科技有限公司 信息处理方法、装置、设备和存储介质
CN115114537A (zh) * 2022-08-29 2022-09-27 成都航空职业技术学院 一种基于文件内容识别的互动虚拟教具实现方法
CN115379278A (zh) * 2022-03-31 2022-11-22 深圳职业技术学院 一种基于xr技术沉浸式微课的录制方法及系统
CN115660909A (zh) * 2022-10-18 2023-01-31 广州远程教育中心有限公司 一种数字学校平台沉浸式数字化学习方法及系统
CN115878867A (zh) * 2023-02-22 2023-03-31 湖南视觉伟业智能科技有限公司 一种基于元宇宙的ai自动虚拟场景构建体验系统及方法
CN116153162A (zh) * 2023-04-20 2023-05-23 吉林外国语大学 一种教育教学用的智能互动学习设备及系统
CN116384661A (zh) * 2023-03-10 2023-07-04 深圳职业技术学院 基于沉浸式xr智慧课堂的教学方法、系统及介质
CN117055724A (zh) * 2023-05-08 2023-11-14 华中师范大学 虚拟教学场景中生成式教学资源系统及其工作方法
TWI823745B (zh) * 2023-01-07 2023-11-21 優派國際股份有限公司 虛擬環境之通訊方法及其相關電腦系統
CN117406866A (zh) * 2023-12-14 2024-01-16 南昌大藏科技有限公司 一种vr体验系统及方法
CN117437099A (zh) * 2023-12-20 2024-01-23 青岛理工大学 一种基于大语言模型的智慧教学系统及教学方法
CN117557755A (zh) * 2023-10-24 2024-02-13 华中师范大学 虚拟场景中师生化身服饰可视化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166374A (zh) * 2018-09-30 2019-01-08 广州邦彦信息科技有限公司 基于虚拟现实技术的教学系统
CN111462285A (zh) * 2020-03-20 2020-07-28 梁爱丽 基于三维动画虚拟情景的沉浸式园林规划设计课程教学系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166374A (zh) * 2018-09-30 2019-01-08 广州邦彦信息科技有限公司 基于虚拟现实技术的教学系统
CN111462285A (zh) * 2020-03-20 2020-07-28 梁爱丽 基于三维动画虚拟情景的沉浸式园林规划设计课程教学系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴翔: "浅析VR技术融入翻转课堂教学模式"供给侧"", 《科技创新与生产力》 *
陈卫东: "沉浸式虚拟学习环境设计与学习评价研究", 《中国优秀博士学位论文全文数据库》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045144A1 (zh) * 2021-09-27 2023-03-30 华中师范大学 一种立体综合教学场系统的工作方法
CN113593351A (zh) * 2021-09-27 2021-11-02 华中师范大学 一种立体综合教学场系统及其工作方法
US11410570B1 (en) 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN113593351B (zh) * 2021-09-27 2021-12-17 华中师范大学 一种立体综合教学场系统的工作方法
CN113822777A (zh) * 2021-11-22 2021-12-21 华中师范大学 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法
CN114237389A (zh) * 2021-12-06 2022-03-25 华中师范大学 一种基于全息成像的增强教学环境中临场感生成方法
CN114327060A (zh) * 2021-12-24 2022-04-12 华中师范大学 一种基于ai助手的虚拟教学系统的工作方法
CN114327060B (zh) * 2021-12-24 2023-01-31 华中师范大学 一种基于ai助手的虚拟教学系统的工作方法
CN114333477A (zh) * 2021-12-28 2022-04-12 南京财经大学 一种基于ar技术的虚拟仿真教学实训系统
CN114283634A (zh) * 2022-01-24 2022-04-05 广州佳邦信息科技有限公司 一种基于5g网络环境的虚拟同步课堂教学系统
CN114283634B (zh) * 2022-01-24 2024-05-24 深圳快学教育发展有限公司 一种基于5g网络环境的虚拟同步课堂教学系统
CN115379278B (zh) * 2022-03-31 2023-09-05 深圳职业技术学院 基于扩展现实（xr）技术沉浸式微课的录制方法及系统
CN115379278A (zh) * 2022-03-31 2022-11-22 深圳职业技术学院 一种基于xr技术沉浸式微课的录制方法及系统
CN115052194B (zh) * 2022-06-02 2023-05-02 北京新唐思创教育科技有限公司 学习报告生成方法、装置、电子设备及存储介质
CN115052194A (zh) * 2022-06-02 2022-09-13 北京新唐思创教育科技有限公司 学习报告生成方法、装置、电子设备及存储介质
CN115097965A (zh) * 2022-06-23 2022-09-23 北京新唐思创教育科技有限公司 信息处理方法、装置、设备和存储介质
CN115114537A (zh) * 2022-08-29 2022-09-27 成都航空职业技术学院 一种基于文件内容识别的互动虚拟教具实现方法
CN115660909A (zh) * 2022-10-18 2023-01-31 广州远程教育中心有限公司 一种数字学校平台沉浸式数字化学习方法及系统
TWI823745B (zh) * 2023-01-07 2023-11-21 優派國際股份有限公司 虛擬環境之通訊方法及其相關電腦系統
CN115878867A (zh) * 2023-02-22 2023-03-31 湖南视觉伟业智能科技有限公司 一种基于元宇宙的ai自动虚拟场景构建体验系统及方法
CN116384661A (zh) * 2023-03-10 2023-07-04 深圳职业技术学院 基于沉浸式xr智慧课堂的教学方法、系统及介质
CN116153162A (zh) * 2023-04-20 2023-05-23 吉林外国语大学 一种教育教学用的智能互动学习设备及系统
CN117055724A (zh) * 2023-05-08 2023-11-14 华中师范大学 虚拟教学场景中生成式教学资源系统及其工作方法
CN117055724B (zh) * 2023-05-08 2024-05-28 华中师范大学 虚拟教学场景中生成式教学资源系统的工作方法
CN117557755A (zh) * 2023-10-24 2024-02-13 华中师范大学 虚拟场景中师生化身服饰可视化方法及系统
CN117406866A (zh) * 2023-12-14 2024-01-16 南昌大藏科技有限公司 一种vr体验系统及方法
CN117437099A (zh) * 2023-12-20 2024-01-23 青岛理工大学 一种基于大语言模型的智慧教学系统及教学方法
CN117437099B (zh) * 2023-12-20 2024-05-10 青岛理工大学 一种基于大语言模型的智慧教学系统及教学方法

Also Published As

Publication number Publication date
CN113095969B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN113095969B (zh) 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN114327060B (zh) 一种基于ai助手的虚拟教学系统的工作方法
CN106023693B (zh) 一种基于虚拟现实技术和模式识别技术的教育系统及方法
Han et al. Examining young children’s perception toward augmented reality-infused dramatic play
CN110069139B (zh) Vr技术实现旅游教学实践的体验系统
Orland-Barak et al. Methodologies of mediation in professional learning
Chen et al. Artificial intelligent robots for precision education
Baecher et al. Jumpstarting novice teachers’ ability to analyze classroom video: Affordances of an online workshop
Wu et al. Enhancing 21st-century competencies via virtual reality digital content creation
Wannapiroon et al. Augmented Reality Interactive Learning Model, using the Imagineering Process for the SMART Classroom.
CN110046290B (zh) 一种个性化自主教学课程系统
CN116957867A (zh) 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质
Mittal et al. Human-cantered Artificial Intelligence in Education, present and future opportunities
Herbst et al. Depict: A tool to represent classroom scenarios
Saleeb Closing the chasm between virtual and physical delivery for innovative learning spaces using learning analytics
Thomas et al. Language teaching with video-based technologies: Creativity and CALL teacher education
Babu et al. Learning cultural conversational protocols with immersive interactive virtual humans
Dyatmika et al. User Interface Design Of Learning Applications For Balinese Traditional Dance using Goal-Directed
CN111460245A (zh) 多维度人群特征测定方法
Díaz et al. Artificial intelligence for teaching and learning in schools: The need for pedagogical intelligence
CN111461153B (zh) 人群特征深度学习方法
Deshpande et al. Improvised learning for pre-primary students using augmented reality
Can Training pre-service English language teachers with 3-d machinima.
Villanueva New modalities and techniques of augmented reality in stem education
Saravanan et al. IoT-Based Behavioral Analysis Model for Smart Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant