CN113593351B - 一种立体综合教学场系统的工作方法 - Google Patents
一种立体综合教学场系统的工作方法 Download PDFInfo
- Publication number
- CN113593351B CN113593351B CN202111133591.6A CN202111133591A CN113593351B CN 113593351 B CN113593351 B CN 113593351B CN 202111133591 A CN202111133591 A CN 202111133591A CN 113593351 B CN113593351 B CN 113593351B
- Authority
- CN
- China
- Prior art keywords
- teaching
- virtual
- data
- teachers
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000005540 biological transmission Effects 0.000 claims abstract description 50
- 230000009471 action Effects 0.000 claims abstract description 32
- 238000009877 rendering Methods 0.000 claims abstract description 29
- 238000013500 data storage Methods 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims description 51
- 230000033001 locomotion Effects 0.000 claims description 35
- 210000003128 head Anatomy 0.000 claims description 31
- 238000007726 management method Methods 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012550 audit Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000007792 addition Methods 0.000 claims description 2
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 230000004886 head movement Effects 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000011017 operating method Methods 0.000 claims 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 239000000470 constituent Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009616 inductively coupled plasma Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明属于信息技术的教学应用领域，提供一种立体综合教学场系统的工作方法，本发明借助传感器采集真实教学空间的深度数据、教师点云数据和授课声音信息；基于边缘云实现虚拟教学空间数据存储、传输和渲染的基础架构计算和缓存；采用R树的空间索引结构，建立虚拟教学空间数据库模型，实现分布式数据存储；通过定位追踪使用者的动作，生成实时更新的个性化虚拟化身；利用5G链路，经编码、上传、5G渲染和解码技术，将虚拟教学空间画面推送到师生显示终端。本发明有助于满足远程虚拟教学中多教学场景的需要，构建一种新型智能教学环境。
Description
技术领域
本发明属于信息技术的教学应用领域，更具体地，涉及一种立体综合教学场系统的工作方法。
背景技术
立体综合教学场是一种融合物理空间与虚拟空间中的教学场，支持师生、教学资源、虚实空间共同形成的情境化课堂教学。基于多种传感器、显示终端和辅助设备，采集真实教学环境、教学资源，以及师生的模型、动作和声音数据，结合三维建模、虚拟现实、全息成像、5G等技术，驱动虚拟化身与虚拟空间、场景和教学资源交互。通过唇语及动作同步模拟真实师生在教学活动中的行为，突破物理空间的阻隔，提高师生的沉浸感和临场感。立体综合教学场系统支持教师开展知识讲解、内容展示和自然交互的教学活动，增强学习者的知识理解和互动体验。立体综合教学场系统有利于发展智能教育，推动教学方法变革，有助于构建智能化、交互式新型教学环境。
目前在构建立体综合教学场系统方面还存在着如下不足：（1）虚拟教学空间的真实感不足：当前虚拟教学环境建模涉及的环境理解、空间定位、动作捕捉等各个单项技术均取得长足的进展，但虚拟化身较难逼真地反映教学活动中师生的动作和互动行为，难以获得良好的真实感体验。（2）数据传输延时问题：虚实教学空间的实时融合需要实现云-边-端之间的上下行海量数据实时传输和分布式数据存储，数据延时会对系统的实时性产生较大影响，直接影响着师生对立体教学场系统的教学体验。（3）缺乏基于内容的教学互动支持：立体教学场需要在知识讲解、内容展示，以及教学模式、教学工具和教学资源方面进行变革，进一步提升教学应用的效果。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种立体综合教学场系统的工作方法，为立体教学场的数据采集、数据传输、空间定位追踪、真实感虚拟化身生成、教学互动提供一种新的、系统性的方法。
本发明的目的是通过以下技术措施实现的。
本发明提供一种立体综合教学场系统，包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块；
所述数据采集模块用于采集真实教学场景的深度数据、教师全身点云数据，以及教师授课的声音数据；
所述数据传输管理模块借助云—边—端网络架构，实现立体教学场中不同类型数据的云渲染、云编辑和自适应传输；
所述数据存储模块用于实现虚拟教学空间数据的索引、更新、调度和分布式存储；
所述空间定位追踪模块用于实现对师生的头部、肢体动作和手部的定位追踪；
所述虚拟化身表示模块用于师生虚拟化身的生成、唇语和动作的实时同步；
所述虚拟教学活动构建模块用于在立体教学场中创设虚拟教学空间，创建虚拟教学活动，并支持师生加入虚拟教学活动；
所述教学互动模块用于实现虚拟教学空间中多种形式的知识讲解、教学内容3D展示，以及师生之间的教学互动反馈；
所述教学管理模块用于实现教学管理服务，以及虚拟教学空间和资源的管理服务；
所述终端显示模块用于在师生终端实现内容显示、视频图像延迟处理和时延优化控制。
本发明还提供一种上述的立体综合教学场系统的工作方法，包括以下步骤：
（1）数据采集，采用深度TOF传感器、激光LiDAR、颈挂式耳麦采集真实教学空间的深度数据、教师点云数据和授课声音数据，构建教学空间的表面网格模型、教师的虚拟化身模型和声音信息。
（2）数据传输管理，通过在学校部署边缘云，借助云-边-端网络架构实现立体教学场的数据存储、传输和渲染服务，支持师生终端从本地和边缘云加载对应的数据和服务，采用状态转换方法管理对象操作，采用注视点估计算法、注视点动态推流方法和DASH自适应传输协议控制数据传输。
具体包括以下步骤：
（2-1）边缘云部署，在立体教学场的集中使用区域部署边缘云平台，构建云-边-端网络架构，结合CPU和GPU的虚化功能，实现数据存储、传输和渲染的基础架构计算和缓存服务，为云渲染、云编辑和数据传输提供统一的支持服务；
（2-2）数据加载，师生用户登录虚拟教学空间时，显示终端将从本地加载虚拟场景、师生模型和教学资源数据，并向边缘云发送请求服务，获取跟自己相关的课程信息、师生在线或离线登录状态、待加入课堂的位置；
（2-3）数据状态控制，虚拟教学活动开始、执行和停止过程中，使用活跃、空闲、静止表示虚拟教学空间中的师生模型、教具学具和活动位置，通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；
（2-4）数据传输，根据用户的头部转动方向和速度、注视点位置，基于UDP协议，自适应调整视场内各分块的传输次序，采用GCC拥塞控制算法检测用户的网络状态，动态调整立体教学场数据传输的发送码率，采用滑动窗口方法控制数据包在待发送和发送缓存队列之间的转移。
（3）数据存储，基于R树的空间索引结构，构建立体教学场的虚拟教学数据库模型，通过尾部追加更新的要素文件，生成新的数据存储和索引节点；根据性能预测模型，调度数据，采用三维空间数据自适应压缩算法，实现分布式数据存储。
具体包括以下步骤：
（3-1）空间索引，针对立体综合教学场数据的多源、异构和海量特征，按照要素集-要素对象-三维模型、属性和音视频元素三个粒度层次，采用R树的空间索引结构，建立虚拟教学空间数据库模型，实现网络化分布式存储；
（3-2）数据更新，将数据按类型序列化成数据块，新建、编辑、修改、删除的更新数据追加到要素集文件的尾部，采用对象的描述性信息来记录新追加对象的相关信息，按段先后写入更新数据，并在R树中增加一个更新的索引节点；
（3-3）数据调度，提取数据传输吞吐量、数据传输率、单位时间服务对象数、并发数、页面帧速、页面帧速方差性能指标，量化内存、显存、硬盘转速、服务节点树、磁盘页面分布规律指标，结合立体综合教学场的空间索引，建立性能预测模型，实现网络环境下数据的存取、调度和性能变化的预估；
（3-4）数据分布式存储，依据空间聚类，采用三维空间数据自适应压缩算法，将相邻虚拟教学空间的相关对象写入到文件中相邻或接近的位置，构建数据库物理层和网络层模型，形成磁盘页面属性与空间属性相结合的数据分布模式。
（4）空间定位追踪，采用超广角追踪传感摄像头、IMU惯导传感器、光学动作捕捉追踪系统，获取教师的视点和视场范围，跟踪和识别头部、躯干和四肢动作，定位教师的手部交互点。
（5）虚拟化身表示，定制师生的虚拟化身模型，实时替换脸部纹理，依据接受到的语音和动作信息，实时同步虚拟化身的唇语和动作。
（6）虚拟教学活动构建，在虚拟空间中创建并布置虚拟教学场景，教师创建虚拟教学活动后，师生通过教室号或者漫游方式进入到虚拟教学空间，参加教学活动。
（7）教学互动，师生通过多种协作工具开展教学活动，教师使用语音、手势、板书、草图、3D思维导图，讲解知识点和教学内容，采用移动终端实现师生互动和反馈。
（8）教学管理，支持教师管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间；支持在个人空间中管理、查找虚拟教学资源。
（9）终端显示，利用5G链路，经编码、上传、渲染和解码，在师生终端显示虚拟教学空间画面，采用Session级、秒级和帧级三层带宽和多级缓存技术控制视频解码和显示，根据头部动作预测和云端异步渲染技术，优化传输和显示时延。
本发明的有益效果在于：
构建一种立体综合教学场系统，使用多种传感器采集真实教学环境、教师的点云数据和声音信息，实现教学环境、师生模型和声音的生成；采用云-边-端架构搭建虚拟教学空间数据存储、传输和渲染服务，师生的终端将从本地和边缘云加载不同的数据和服务，通过状态控制机制管理对象操作；基于R树的空间索引结构，建立虚拟教学空间数据模型，根据性能预测模型，实现分布式立体教学场的数据调度和存储；采用多种传感器协同追踪和识别师生的头部、躯干和四肢动作，驱动虚拟化身实时更新唇语和动作；创建并布置虚拟教学空间的教学场景，教师可以邀请学生加入其所创设的教学活动，使用语音、手势、板书、草图和3D思维导图的协作工具讲解和展示知识点内容；教师通过移动终端主导教学互动和反馈，查看、编辑、管理和推送教学信息，管理虚拟教学空间的场景，在个人空间中管理、推送和查找虚拟教学资源。利用5G链路，经编码、上传、渲染和解码，在终端显示虚拟教学空间画面，采用Session、秒和帧级三层带宽和多级缓存技术控制显示延时，采用头部动作预测和云端异步渲染技术，优化传输和显示。随着虚拟现实、5G教育专网和云边端架构的快速发展，立体综合教学场能够满足多场景远程虚拟教学的需要，有助于构建新型智能教学环境。
附图说明
图1是本发明实施例中立体综合教学场系统架构图。
图2是本发明实施例中教师数据采集工作流程图。
图3是本发明实施例中边缘云架构图。
图4是本发明实施例中数据加载流程图。
图5是本发明实施例中数据状态控制流程图。
图6是本发明实施例中数据传输流程图。
图7是本发明实施例中数据存储粒度示意图。
图8是本发明实施例中数据调度流程图。
图9是本发明实施例中3D思维导图示意图。
图10是本发明实施例中教学管理流程图。
图11是本发明实施例中课程管理示意图。
图12是本发明实施例中教师授课示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种立体综合教学场系统，包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块。
本实施例还提供一种上述的立体综合教学场系统的工作方法，包括以下步骤：（以下具体说明系统中各模块的工作方法）
（1）数据采集模块。使用深度TOF传感器分段采集真实教学场景的深度数据，采用特征匹配算法生成整体深度图，构建表面网格模型，并按照语义特征划分对象；利用激光LiDAR采集教师点云数据，生成教师全身可视化系列模型；使用颈挂式耳麦采集教师授课的声音信息，采用ADPCM编码，经传输、绑定到教师虚拟化身模型。所述数据采集具体包括如下步骤：
（1-1）真实教学空间数据采集。使用深度TOF传感器采集真实教学空间的黑板、讲台、教具和教室墙壁的深度数据，采用公式（1）-（2）所示的特征匹配算法，合并不同点位的深度数据，生成教学空间的整体深度图，采用三维Delaunay生成方法构建教学空间的表面网格模型，并按照语义划分出黑板、讲台、教具和教室墙壁对象。
特征匹配算法：
Ⅰ.检测SIFT特征点。
第一步，利用不同尺度的高斯核函数，变换真实教学空间的原始深度图像，经过2倍降采样，建立深度图像的高斯差分金字塔；
第二步，将每个像素与相邻像素比较，若为极大值或者极小值，则作为SIFT算子的特征候选点。
Ⅱ.筛选SIFT特征点。采用Harris角点检测方法去除不稳定的特征候选点，如公式（1）所示；
其中
分别是像素点在x、y方向的一阶梯度；
参数控制高斯平滑力度，
表示求矩阵行列式；
表示求矩阵的迹，k取0.04～0.06。R是角点响应函数，当R值大于
阈值（根据图像形状和细节来设置），确定该点为正式特征点，否则就剔除它。
Ⅲ.计算特征点
的梯度幅值和方向，如公式（2）所示；
采用梯度直方图统计以特征点为中心点的周围像素的梯度方向和模值，直方图峰值所在的方向就代表该特征点的主方向。
Ⅳ.生成特征描述符。
第一步，对任意特征点，在其所在的尺度空间内，以该点为中心选取16×16像素大小的窗口；
第二步，将窗口分割成16个4×4的子块，计算每个子块内8个方向（0°,45°,90°,135°,180°,225°,270°,315°）的梯度值以及梯度方向直方图；
第三步，统计8个方向的梯度累加值，构成特征描述符的特征向量，对特征向量做归一化处理，生成SIFT特征描述符。
Ⅴ.特征匹配。
第一步，在参考深度图像中找到某个特征点，采用k-d树在待匹配图像中搜索该点对应的最近和次近特征点；
第二步，计算特征点到两个近邻特征点的欧氏距离的比值，若比值小于阈值，则最近特征点为同名匹配点，否则不存在同名匹配点。
Ⅵ.图像合成。按照匹配点校对深度图像的位置和方向，经过拼接和裁剪，合成教学空间的整体深度图。
（1-2）教师数据采集，如图2所示。依据性别、身高、体型和年龄，选取具有代表性身材的教师，利用激光LiDAR按照由上至下，环绕四周的顺序快速获取教师的全身点云数据，通过点云拼接和构网生成教师的表面模型，再使用三角形表面简化算法，生成教师全身的网格模型。
（1-3）教师授课声音采集。采用颈挂式耳麦采集教师授课的声音信息，应用去回声、降噪操作去除录制中的噪声，采用高压缩比的ADPCM自适应差分脉冲编码方式，将声音信息传输、绑定到立体教学活动中教师的虚拟化身模型上。
（2）数据传输管理模块。部署边缘云，构建云-边-端网络架构，为云渲染、云编辑和数据传输提供支持服务；师生登陆虚拟教学空间，从本地和边缘云加载不同类型的数据和服务；通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；根据用户的注视点位置和网络状况，完成数据的自适应传输。
（2-1）边缘云部署。在立体教学场的集中使用区域部署边缘云平台，构建云-边-端网络架构，如图3所示，IaaS层提供CPU和GPU虚化功能，PaaS层提供虚拟场景、师生模型、教学资源数据拼接、编解码、渲染、CV（Computer Version，计算机视觉）和SLAM（simultaneouslocalization and mapping，即时定位和地图构建）服务，SaaS层提供虚拟机和立体教学场教学服务。
中心云、边缘云任务分工如下：
Ⅰ.中心云完成高时延要求的渲染计算、后台管理、用户数据和交互数据处理，将处理结果传输到边缘云；
Ⅱ.边缘云完成数据存储和低时延要求的渲染计算，将渲染后的数据传输到终端，边缘云具有以下特性；
特性一：将渲染时延控制在10-15ms，支持立体教学场多显示终端高画质并发渲染；
特性二：根据终端能力、网络传输状况以及数据传输需求，自适应选择编码格式（H.264、HEVC、H.266、AVS）和策略（如QP、码率、GOP长度）；
特性三：动态调整编码参数（帧率、时延、去交错、画面锐度和对比度调整），控制编码和流化发送时延在10ms以内。
（2-2）数据加载，如图4所示。师生用户从终端登录虚拟教学空间，终端从本地加载虚拟场景、师生模型和教学资源数据，并向边缘云发送数据请求，获取跟自己相关的课程信息、师生在线或离线登录状态，以及待加入课堂的位置。
（2-3）数据状态控制，如图5所示。根据虚拟教学空间中的教学场景、师生模型、教学资源数据的状态类型，设计状态控制机制，具体如下：
Ⅰ.在虚拟教学活动开始、执行和停止过程中，使用活跃、空闲、静止表示教学场景、师生模型、教学资源数据的状态；
Ⅱ.操作教学场景、师生模型和教学资源对象时，从状态管理器读取对象的状态；
Ⅲ.根据状态控制机制判断能否执行当前操作，如不能执行，则将操作挂起，等待下一次状态检测；如可以执行，则按照操作类型执行数据加载、保存、更新和删除操作；
Ⅳ.执行完操作后，通知状态管理器切换对象状态，并更新对象的状态属性。
（2-4）数据传输，如图6所示。采用注视点估计算法、注视点动态推流方法和DASH自适应传输协议，实现基于注视点的自适应推流，具体步骤如下：
根据使用者的头部位置、转动方向和转动加速度，采用注视点估计算法，实时检测注视点区域；
注视点估计算法的具体步骤如下：
Ⅰ.计算人眼图像中瞳孔中心坐标
和角膜反射点中心坐标
、
：
1.利用人脸、角膜反射点和瞳孔之间的灰度差来定位人眼；
2.通过水平和垂直灰度积分法来定位瞳孔区域；
3.对瞳孔边缘进行检测，利用椭圆拟合法和质心法确定瞳孔和光斑中心；
Ⅱ.估计注视点区域，如公式（3）所示：
Ⅲ.将虚拟教学空间视频按照时间和空间维度分割成多个视频块，每个视频块分别生成720P、1080P、1440P、2160P的质量版本；
Ⅳ.根据使用者的注视点区域，采用注视点动态推流方法，选择待传输的视频块，利用DASH自适应传输协议，为每个视频块选择适合当前网速的质量版本，实施自适应推流。
（3）数据存储模块。建立虚拟教学数据库模型，实现分布式系统存储；通过尾部追加更新要素文件，生成数据存储和索引节点；基于性能预测模型，实现对立体教学场数据的存取、调度与性能变化的预估；依据空间聚类，采用三维空间数据自适应压缩算法，实现分布式数据存储。
（3-1）空间索引。针对立体综合教学场数据的多源、异构和海量特征，基于虚拟教学空间中模型的空间结数据和对象ID，构建空间索引，按照要素集-要素对象-三维模型、属性和音视频数据三个粒度层次，如图7所示，建立要素集文件，如虚拟教室对象由三维模型和属性部分构成，属性部分包括教室ID、教室类型、使用状态、存储路径、创建时间、修改时间。基于R树的空间索引结构，建立虚拟教学空间数据库模型，实现网络化分布式存储。
（3-2）数据更新。将数据按类型序列化成数据块，新建、编辑、修改、删除等更新数据追加到要素集文件的尾部，采用对象的描述性信息来记录新追加对象的相关信息，如表格1所示，按段先后写入更新数据，并在R树中增加一个更新的索引节点。
表格 
对象的描述性信息结构
（3-3）数据调度，如图8所示。提取数据传输吞吐量、数据传输率、单位时间服务对象数、并发数、页面帧速、页面帧速方差性能指标，量化内存、显存、硬盘转速、服务节点树、磁盘页面分布规律指标，结合立体综合教学场的空间索引，建立性能预测模型，监测数据检索、运算性能与数据流负载平衡性能，以及网络带宽、节点数、拓扑结构的变化，实现复杂网络环境下数据的存取、调度和性能变化的预估。
（3-4）数据分布式存储。依据空间聚类，采用三维空间数据自适应压缩算法，将相邻虚拟教学空间的相关对象写入到文件中相邻或接近的位置，构建数据库物理层和网络层模型，形成磁盘页面属性与空间属性相结合的数据分布模式。
（4）空间定位追踪模块。利用超广角追踪传感摄像头和IMU（InertialMeasurement Unit）惯导传感器，定位、追踪师生的头部运动信息，获取其视点位置和视场范围；使用光学动作捕捉追踪系统，跟踪和识别教学过程中师生的头部、躯干和四肢的动作；通过传感摄像头采集手部LED灯的光斑信息，构建运动预测模型，精准定位教学过程中师生的手部交互点。
（4-1）头部定位追踪。在头显的上、下、左、右四处配置4路超广角追踪传感摄像头，增大师生在教学空间中的整体观察范围，利用IMU惯导传感器定位、追踪师生的头部位置和旋转姿态，基于注视点估计算法获取视点位置以及视场范围。
（4-2）肢体动作定位追踪。使用光学动作捕捉追踪系统，追踪教学过程中师生的头部、躯干和四肢的动作，经定位、配准师生的教学动作，生成与真实教学环境相适应的定位追踪参数，实现对师生头部转动、躯干移动与四肢挥动的跟踪和识别。
（4-3）手部定位追踪。在手部控制器上布设4个LED灯，令其发光光斑的闪烁频率和头部传感摄像头的拍摄频率同步，利用双目定位和PnP算法，计算LED灯的空间坐标以及位姿信息，定位教学过程中师生的手部交互点。具体过程如下：
第一步，采用图像识别算法从左、右两路传感摄像头采集的手部控制器图像中检测出LED光斑，排除受环境光干扰导致成像模糊的LED光斑；
第二步，通过双目定位算法，计算光斑对应的LED灯的空间位置；
第三步，选择4个LED灯及其光斑，利用PnP算法，如公式（4）-公式（9）所示，求解LED灯在摄像头坐标系下的6DoF信息；
第四步，基于LED灯的6DoF信息，拟合出手部运动预测模型，补偿和优化手部的运动延时，定位教学过程中师生的手部交互点。
PnP算法：
Ⅰ.通过余弦三角形法则构建摄像头光心
与三个LED灯A，B，C相对应的夹角等式关
系，如图9所示；
1.计算三个LED灯A，B，C之间的距离，如公式（4）所示：
2.计算夹角余弦值，根据摄像头投影模型，像素点的归一化坐标分别是，
，根据向量内积，计算夹角余弦值，如公式（5）-
公式（6）所示：
点
，向量
,
,
的坐标即为a,b,c三点坐标。
Ⅱ.将上述等式关系转换为二元二次方程，通过吴消元法求解，获得立体几何之间的比值关系，进而获得LED灯在摄像头坐标系下的坐标信息；
1.利用余弦定理，经过变量代换，得到二元二次方程组，如公式（7）-公式（9）所示：
2.利用吴消元法求解上述二元二次方程组，分别计算出x、y，从而求得摄像头坐标系下三个LED灯A，B，C的坐标。
Ⅲ.利用摄像头坐标系和已知的世界坐标系中的LED灯坐标，采用ICP算法求得LED灯在摄像头坐标系下的6DoF信息。
（5）虚拟化身表示模块。依据师生的个性化参数，选取化身模型，映射脸部纹理；根据接收到的声音数据，分析解码后的语音特征，映射成嘴部特征点的形变，实现虚拟化身的唇语同步；采用光学捕捉设备动态追踪师生的动作，驱动虚拟教学空间中化身的实时更新。
（5-1）虚拟化身生成。根据师生的身高、体型、年龄、性别参数，从人体模型库中提取化身模型，应用人脸识别算法，从师生头部位置图像中提取面部特征，利用关键点检测算法，提取脸部纹理的关键点，映射到虚拟化身头部对应的眉毛、眼睛、鼻子、嘴巴、面部轮廓上。
（5-2）虚拟化身唇语同步。通过水平投影和垂直投影，确定虚拟化身的嘴部区域，采用人脸关键点检测算法，提取虚拟化身嘴部多边形的上唇、下唇和左右唇角特征点，通过调整嘴部特征点的位置，设计张开、半张、微张、闭合四种唇形，将声音数据解码后，采用FFT变换分析声音的振幅、语速参数，根据振幅大小，分别匹配四种唇形，根据语速控制唇形切换的速度，最后映射成嘴部的特征点形变，实现唇语同步。基于高斯混合模型的声音-唇部映射的步骤如下：
Ⅰ.基于高斯混合模型的训练，如公式（10）-公式（12）所示：
第一步，用高斯混合模型对语音特征和唇形特征建模，
k是单个高斯模型的数量，
是权重因子，任意一个高斯分布
为该模型
的一个组成单元。
为高斯混合模型的参数集，包括每个组成单元的权重、均值向量和协
方差矩阵。第k个组成单元的均值向量为
，协方差矩阵为
。
和
分别表示第k个组
成单元中语音特征向量和唇形特征向量的均值。
和
分别表示第k个组成单元中语
音特征向量和唇形特征向量的协方差矩阵，
和
表示语音特征向量和唇形特征向量
的交叉协方差矩阵。
第二步，采用EM算法训练高斯混合模型，将语音特征和唇形特征的联合向量作为训练集。
Ⅱ.基于高斯混合模型的映射，如公式（13）-公式（16）所示：
第一步，对于给定声音信号特征
，计算唇部特征的条件概率为
，如公
式（13）-公式（14）所示，
第k个条件概率分布的均值向量
和协方差居矩阵
，如公式（15）所示，
第二步，基于最小均方误差映射，得到的评估目标参数向量
，如公式（16）所示，
控制唇部特征点产生形变，
（5-3）虚拟化身动作同步。根据在真实教学环境中采集到师生的躯干和手部动作，将其绑定到虚拟化身的骨骼和手部关节上，采用光学捕捉设备动态追踪师生的转身、移动和挥手动作，通过驱动虚拟化身的相应关节，实现虚拟教学空间中师生虚拟化身的动作同步。
（6）虚拟教学活动构建模块。在虚拟空间中创建与真实场景相似的学校、教学楼和教室，根据教学需要设置桌椅、白板、屏幕的位置；教师根据教学计划和课程表创建教学活动，通过班级管理功能向学习者发送活动通知；师生通过教室号跳转或漫游的方式进入虚拟教学空间，以虚拟化身的形式参加教学活动。
（6-1）创设虚拟教学空间。在虚拟空间中创建与真实场景相似的虚拟学校、教学楼和教室，按照关联规则命名教学空间，并生成唯一的ID号，依据教学需要设置桌椅、白板、屏幕的位置，令虚拟教学空间适应分组教学、讨论的教学模式。
（6-2）创建虚拟教学活动。依据教学计划和课程表，教师新建教学活动，关联虚拟教学空间的名称或ID（如教室号或者按照学校、楼栋、教室逐级设定），再使用班级管理功能，向学习者群发通知信息，包含教学活动的开始时间、持续时间和教室位置。
（6-3）加入虚拟教学空间。接到上课通知或提醒后，根据课程表的安排，分布各地的师生用户以虚拟化身的形式加入虚拟教学活动，可根据教室号直接跳转进入到虚拟教学空间，或者以学校-教学楼-教室的浏览顺序进入虚拟教学空间，依据固定分配或随机选择入座。
（7）教学互动模块。虚拟教学空间中师生化身通过多种协作工具开展教学活动，教师能使用语音、手势、板书和草图讲解知识点；采用3D思维导图创设、串联、组织、展示教学内容；通过移动终端控制教学资源放置和播放形式，实现师生之间的互动反馈。
（7-1）知识讲解，师生以化身形式进入教学活动的虚拟场景中，在其化身上方显示真实姓名或实时视频，通过虚拟白板、三维模型、流程图、即时通讯工具和实时视频协作工具开展一对一、一对多的教学活动，教师使用语音、手势、板书和草图向学习者讲解知识点。
（7-2）内容展示。在虚拟教学空间中引入3D思维导图功能，教师通过抓取、移动与旋转3D图形元素、文本和图像，可视化展示教学活动中的概念、过程、结论，以及知识点的分类和层次关系，创设、串联和组织虚拟教学内容。图9展示人教版地理七年级上册第一章“地球与地图”第二节“地球的运动”第一课时“地球的自转与公转”的3D思维导图：
Ⅰ.使用不同的3D图形元素分别表示章、节、课时、概念和知识点的层次关系：
第一层：用四棱台表示章——“地球与地图”；
第二层：用四面体表示节——“地球的运动”；
第三层：用球体表示课时——“地球的自转与公转”；
第四层：用菱形体表示概念——“地球自转”和“地球公转”；
第五层：用立方体表示知识点——“运动方式”、“运动方向”、“运动速度”、“运动周期”和“地理意义”。
Ⅱ.使用箭头逐级连接处于不同层次的章、节、课时、概念和知识点：
箭头指向：箭头由上一层级指向下一层级，例如图9中箭头前端连接位于第一层的“地球和地图”，箭头末端连接并指向位于第二层的“地球的运动”。
Ⅲ.使用文本表示章、节、课时、概念、知识点的名称和内容，两者用不同的背景色进行区分；文本显示在3D图形元素的正上方，具体如下：
表示名称：课时——“地球的自转与公转”，概念——“地球自转”、“地球公转”，知识点——“运动方式”、“运动方向”、“运动速度”、“运动周期”和“地理意义”；
表示内容：“地球自转”的“运动方向”的内容——“自西向东。北极上空俯视为逆时针，南极上空为顺时针”。
Ⅳ.使用图像展示知识点的内容，图像显示在文本的上方，如在“地球自转”概念的“运动方向”知识点的方形文本上方，显示从南极和北极上方观察地球自转的运动图像。
（7-3）互动反馈，教师通过移动终端设置虚拟教学资源的呈现位置和播放形式，向虚拟教学空间中单个、分组或所有的学习者提问，并将问题发送给特定或全部的学习者，学习者在终端上输入答案或者通过实时视频回答教师提问。
（8）教学管理模块，如图10所示。管理员导入学校师生信息，教师获取选课的学习者信息，管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间，管理员审核通过后可共享给其他师生；教师可在个人空间中管理虚拟教学资源，使用多种方式查找资源。
（8-1）教学信息管理。支持接入国家级公共教育平台，依据权限策略设置，管理员可以导入学校师生信息，教师可以查看学习者信息，管理个人空间中的信息和课程信息，具体如下：
Ⅰ.依据选课信息，获取对应课程的学习者信息；
Ⅱ.查看、编辑、管理和推送个人空间的公告、留言、作业发布和学习者回答情况；
Ⅲ.查看、编辑、管理课程信息，具体包括课程编号、课程名称、课程类型、场景、PPT、学生列表、资源列表、问题列表，如图11所示。
（8-2）虚拟教学空间管理。构建统一的世界坐标系统，支持教师对虚拟教学空间中学校、教学楼与教室的新增、修改、删除和布局调整，并上传到云端服务器，管理员审核通过后，可共享给其他师生使用。
（8-3）虚拟教学资源管理。构建云端资源库，教师可在自己的个人空间中导入、编辑、删除虚拟教学资源，将虚拟教学资源推送到学习者终端，通过知识树组织虚拟教学资源，支持通过资源名称、属性标签、存储路径查找虚拟教学资源。
（9）终端显示模块。选择视场范围及其两侧视角外的画面内容，通过5G链路，经编码、上传、5G渲染和解码，在终端显示；采用Session级、秒级和帧级三层带宽技术控制显示终端的带宽波动，使用多级缓存技术逐帧解码和显示视频图像；结合头部动作预测和云端异步渲染技术，控制上行动作、下行内容和画面的MTP时延。
（9-1）终端显示。依据显示终端的观察角度，选择立体教学场中师生视场范围及其两侧视角外的画面内容，通过5G链路，经编码、上传到云渲染中心，以GOP（Group ofPictures，视频图像组）为时间粒度，将5G渲染结果传输到师生显示终端，解码后在终端显示，如图12所示，教师在虚拟教学空间中授课，其左前方显示3D教学模型，其后方虚拟显示屏幕展示教学PPT内容。
（9-2）视频延迟处理。检测师生终端的网络环境，采用Session级、秒级和帧级三层带宽技术降低因延时所产生的画面抖动现象，控制显示终端的带宽波动，采用多级缓存技术，在帧周期内逐帧解码和显示视频图像。
（9-3）时延优化控制。利用头部动作预测师生的姿态与位置信息，结合端云异步渲染技术和并行编码技术，通过边缘云预先计算、渲染和编码60-80ms的视频内容，减少边缘云处理数据和编码发送的时延，将上行动作、下行内容传输和画面响应MTP（multi-pathtransmission）时延控制在20ms以内。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (9)
1.一种立体综合教学场系统的工作方法，其特征在于该方法包括以下步骤：
（1）数据采集，使用深度TOF传感器采集真实教学场景的深度数据，生成整体深度图，构建表面网格模型，并按照语义特征划分对象，利用激光LiDAR采集教师点云数据，生成教师全身可视化模型，使用颈挂式耳麦采集教师授课的声音信息，采用ADPCM编码将声音绑定到教师虚拟化身模型；
（2）数据传输管理，通过部署边缘云，构建云-边-端网络架构，为云渲染、云编辑和数据传输提供支持服务；师生从终端登陆虚拟教学空间，从本地和边缘云加载不同类型的数据和服务；通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；根据用户的显示控制参数，完成数据的自适应传输；
具体包括以下步骤：
（2-1）边缘云部署，在立体教学场的集中使用区域部署边缘云平台，构建云-边-端网络架构，结合CPU和GPU的虚化功能，实现数据存储、传输和渲染的基础架构计算和缓存服务，为云渲染、云编辑和数据传输提供统一的支持服务；
（2-2）数据加载，师生用户登录虚拟教学空间时，显示终端将从本地加载虚拟场景、师生模型和教学资源数据，并向边缘云发送请求服务，获取跟自己相关的课程信息、师生在线或离线登录状态、待加入课堂的位置；
（2-3）数据状态控制，虚拟教学活动开始、执行和停止过程中，使用活跃、空闲、静止表示虚拟教学空间中的师生模型、教具学具和活动位置，通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；
（2-4）数据传输，根据用户的头部转动方向和速度、注视点位置，基于UDP协议，自适应调整视场内各分块的传输次序，采用GCC拥塞控制算法检测用户的网络状态，动态调整立体教学场数据传输的发送码率，采用滑动窗口方法控制数据包在待发送和发送缓存队列之间的转移；
（3）数据存储，建立虚拟教学数据库模型，实现分布式系统存储；通过尾部追加更新要素文件，生成数据存储和索引节点；基于性能预测模型，实现对立体教学场数据的存取、调度与性能变化的预估；依据空间聚类，采用三维空间数据自适应压缩算法，实现分布式数据存储；
具体包括以下步骤：
（3-1）空间索引，针对立体综合教学场数据的多源、异构和海量特征，按照要素集-要素对象-三维模型、属性和音视频元素三个粒度层次，采用R树的空间索引结构，建立虚拟教学空间数据库模型，实现网络化分布式存储；
（3-2）数据更新，将数据按类型序列化成数据块，新建、编辑、修改、删除的更新数据追加到要素集文件的尾部，采用对象的描述性信息来记录新追加对象的相关信息，按段先后写入更新数据，并在R树中增加一个更新的索引节点；
（3-3）数据调度，提取数据传输吞吐量、数据传输率、单位时间服务对象数、并发数、页面帧速、页面帧速方差性能指标，量化内存、显存、硬盘转速、服务节点树、磁盘页面分布规律指标，结合立体综合教学场的空间索引，建立性能预测模型，实现网络环境下数据的存取、调度和性能变化的预估；
（3-4）数据分布式存储，依据空间聚类，采用三维空间数据自适应压缩算法，将相邻虚拟教学空间的相关对象写入到文件中相邻或接近的位置，构建数据库物理层和网络层模型，形成磁盘页面属性与空间属性相结合的数据分布模式；
（4）空间定位追踪，利用超广角追踪传感摄像头和IMU惯导传感器，定位、追踪师生的头部运动信息，获取其视点位置和视场范围；使用光学动作捕捉追踪系统，跟踪和识别教学过程中师生的头部、躯干和四肢的动作；通过传感摄像头采集手部LED灯的光斑信息，构建运动预测模型，精准定位教学过程中师生的手部交互点；
（5）虚拟化身表示，根据师生的个性化参数，选取化身模型，提取面部特征部位的关键点，映射脸部纹理；根据接收到的声音数据，分析解码后的语音特征，映射成嘴部特征点的形变，实现虚拟化身的唇语同步；采用光学捕捉设备动态追踪师生的动作，驱动虚拟教学空间中化身的实时更新；
（6）虚拟教学活动构建，在虚拟空间中创建与真实场景相似的学校、教学楼和教室，根据教学需要设置桌椅、白板、屏幕的位置；教师根据教学计划和课程表创建教学活动，通过班级管理功能向学习者发送活动通知；师生通过教室号跳转或漫游方式进入虚拟教学空间，以虚拟化身的形式参加教学活动；
（7）教学互动，虚拟教学空间中师生化身通过多种协作工具开展教学活动，教师能使用语音、手势、板书和草图讲解知识点；采用3D思维导图创设、串联、组织、展示教学内容；通过移动终端控制教学资源放置和播放形式，实现师生之间的互动反馈；
（8）教学管理，管理员导入学校师生信息，教师获取选课的学习者信息，管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间，管理员审核通过后可共享给其他师生；教师可在个人空间中管理虚拟教学资源，使用多种方式查找资源；
（9）终端显示，选择视场范围及其两侧视角外的画面内容，通过5G链路，经编码、上传、5G渲染和解码，在终端显示；采用Session级、秒级和帧级三层带宽技术控制显示终端的带宽波动，使用多级缓存技术逐帧解码和显示视频图像；结合头部动作预测和云端异步渲染技术，控制上行动作、下行内容和画面的MTP时延。
2.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于：立体综合教学场系统包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块；
所述数据采集模块用于采集真实教学场景的深度数据、教师全身点云数据，以及教师授课的声音数据；
所述数据传输管理模块借助云-边-端网络架构，实现立体教学场中不同类型数据的云渲染、云编辑和自适应传输；
所述数据存储模块用于实现虚拟教学空间数据的索引、更新、调度和分布式存储；
所述空间定位追踪模块用于实现对师生的头部、肢体动作和手部的定位追踪；
所述虚拟化身表示模块用于师生虚拟化身的生成、唇语和动作的实时同步；
所述虚拟教学活动构建模块用于在立体教学场中创设虚拟教学空间，创建虚拟教学活动，并支持师生加入虚拟教学活动；
所述教学互动模块用于实现虚拟教学空间中多种形式的知识讲解、教学内容3D展示，以及师生之间的教学互动反馈；
所述教学管理模块用于实现教学管理服务，以及虚拟教学空间和资源的管理服务；
所述终端显示模块用于在师生终端实现内容显示、视频图像延迟处理和时延优化控制。
3.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（1）中所述数据采集具体包括以下步骤：
（1-1）真实教学空间数据采集，使用深度TOF传感器分段采集教学空间的黑板、讲台、教具和教室墙壁的深度数据，使用特征匹配算法，合并生成教学空间的整体深度图，构建表面网格模型，并按照语义划分对象；
（1-2）教师数据采集，依据性别、身高、体型和年龄，选取具有代表性身材的教师，利用激光LiDAR快速获取教师的全身点云数据，通过点云拼接和构网生成教师的表面模型，再使用三角形表面简化算法，生成教师全身的可视化模型；
（1-3）教师授课声音采集，采用颈挂式耳麦采集教师授课的声音数据，应用去回声、降噪操作去除录制中的噪声，采用高压缩比的ADPCM自适应差分脉冲编码方式，将声音信息传输、绑定到立体教学活动中教师的虚拟化身模型上。
4.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（4）中所述空间定位追踪具体包括以下步骤：
（4-1）头部定位追踪，在头显的上、下、左、右四处配置4路超广角追踪传感摄像头，增大师生在教学空间中的整体观察范围，利用IMU惯导传感器定位、追踪师生的头部位置和旋转姿态，基于注视点估计算法获取其视点位置和视场范围；
（4-2）肢体动作定位追踪，使用光学动作捕捉系统，追踪教学过程中师生的头部、躯干和四肢的动作，经定位、配准师生的教学动作，生成与真实教学环境相适应的定位追踪参数，实现对师生头部转动、躯干移动与四肢挥动的跟踪和识别；
（4-3）手部定位追踪，在手部控制器上布设4个LED灯，令其发光光斑的闪烁频率和头部传感摄像头的拍摄频率同步，利用双目定位和PnP算法，计算LED灯的空间坐标以及位姿信息，定位教学过程中师生的手部交互点。
5.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（5）中所述虚拟化身表示具体包括以下步骤：
（5-1）虚拟化身生成，根据师生的身高、体型、年龄、性别参数，从人体模型库中提取化身模型，应用人脸识别算法，从师生头部的位置图像中提取面部特征，利用关键点检测算法，将脸部纹理的关键点映射到虚拟化身头部对应的眉毛、眼睛、鼻子、嘴巴、面部轮廓上；
（5-2）虚拟化身唇语同步，提取虚拟化身模型嘴部多边形的特征控制点，通过网络传输模块，接收到教师授课和学习者发言声音数据，分析解码后声音的语音特征，根据其振动的波幅、语速参数，映射成嘴部的特征点形变，表示嘴部的张开、闭合的程度和快慢；
（5-3）虚拟化身动作同步，根据在真实教学环境中采集到师生的躯干和手部动作，将其绑定到虚拟化身的骨骼和手部关节上，采用光学捕捉设备动态追踪师生的动作，驱动对应的虚拟教学空间中师生化身的相应关节，实现动作的实时更新和同步。
6.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（6）中所述虚拟教学活动构建具体包括以下步骤：
（6-1）创设虚拟教学空间，在虚拟空间中创建与真实场景相似的虚拟学校、教学楼和教室，按照关联规则命名教学空间，并生成唯一的ID号，依据教学需要设置桌椅、白板、屏幕的位置，令虚拟教学空间适应分组教学、讨论的教学模式；
（6-2）创建虚拟教学活动，依据教学计划和课程表，教师创建教学活动，关联虚拟教学空间的名称或ID，选择所使用的虚拟教学资源和需要参加活动的学习者，再使用班级管理功能，向学习者群发通知信息，包含教学活动的开始时间、持续时间和教室位置；
（6-3）加入虚拟教学空间，接到上课通知或提醒后，根据课程表的安排，分布各地的师生用户以虚拟化身的形式加入虚拟教学活动，可根据教室号直接跳转进入到虚拟教学空间，或者以学校—教学楼—教室的浏览顺序进入虚拟教学空间，依据固定分配或随机选择入座。
7.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（7）中所述教学互动具体包括以下步骤：
（7-1）知识讲解，师生以化身形式进入教学活动的虚拟场景中，在其化身上方显示真实姓名或实时视频，通过虚拟白板、三维模型、流程图、即时通讯工具和实时视频协作工具开展一对一、一对多的教学活动，教师使用语音、手势、板书和草图向学习者讲解知识点；
（7-2）内容展示，在虚拟教学空间中引入3D思维导图功能，教师运用文本、图像和3D图形元素可视化展示教学活动中的概念、过程和结论，以及知识点的分类和层次关系，创设、串联和组织虚拟教学内容；
（7-3）互动反馈，教师通过移动终端设定虚拟教学资源的呈现位置和播放形式，向虚拟教学空间中单个、分组或所有的学习者提问，依据学习者的举手、抢答结果，将问题发送给选中的学习者，学习者在终端上输入答案或者通过实时视频回答教师提问。
8.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（8）中所述教学管理具体包括以下步骤：
（8-1）教学信息管理，支持接入国家级公共教育平台，依据权限策略设置，管理员可以导入学校师生信息，教师依据选课信息，获取对应课程的学习者信息，查看、编辑、管理和推送个人空间的公告、留言、作业发布和学习者回答情况；
（8-2）虚拟教学空间管理，构建统一的世界坐标系统，支持教师对虚拟教学空间中学校、教学楼、教室的新增、修改、删除和布局调整，并上传到云端服务器，管理员审核通过后，可共享给其他师生使用；
（8-3）虚拟教学资源管理，构建云端资源库，教师在自己的个人空间中导入、编辑、删除虚拟教学资源，将虚拟教学资源推送到学习者终端，通过知识树组织虚拟教学资源，支持基于资源名称、属性标签、存储路径的虚拟教学资源查找。
9.根据权利要求1所述的立体综合教学场系统的工作方法，其特征在于步骤（9）中所述终端显示具体包括以下步骤：
（9-1）终端显示，依据显示终端的观察角度，选择立体教学场中对应的师生视场范围及其两侧视角外的画面内容，通过5G链路，经编码、上传到云渲染中心，以GOP为时间粒度，将5G渲染结果传输到师生显示终端，解码后在终端显示；
（9-2）视频延迟处理，检测师生终端的网络环境，采用Session级、秒级和帧级三层带宽技术降低因延时所产生的画面抖动现象，控制显示终端的带宽波动，采用多级缓存技术，在帧周期内逐帧解码和显示视频图像；
（9-3）时延优化控制，利用头部动作预测师生的姿态与位置信息，结合端云异步渲染技术，计算、渲染和编码立体教学场对应范围的视频内容，将上行动作、下行内容传输和画面响应MTP时延控制在20ms以内。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111133591.6A CN113593351B (zh) | 2021-09-27 | 2021-09-27 | 一种立体综合教学场系统的工作方法 |
| PCT/CN2021/139874 WO2023045144A1 (zh) | 2021-09-27 | 2021-12-21 | 一种立体综合教学场系统的工作方法 |
| US17/574,767 US11410570B1 (en) | 2021-09-27 | 2022-01-13 | Comprehensive three-dimensional teaching field system and method for operating same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111133591.6A CN113593351B (zh) | 2021-09-27 | 2021-09-27 | 一种立体综合教学场系统的工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113593351A CN113593351A (zh) | 2021-11-02 |
| CN113593351B true CN113593351B (zh) | 2021-12-17 |
Family
ID=78242259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111133591.6A Active CN113593351B (zh) | 2021-09-27 | 2021-09-27 | 一种立体综合教学场系统的工作方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113593351B (zh) |
| WO (1) | WO2023045144A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023227956A1 (en) * | 2023-02-09 | 2023-11-30 | Asadi Varnousfaderani Parisa | Vr-based learning and content management system |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022644B (zh) * | 2021-11-05 | 2022-07-12 | 华中师范大学 | 一种教学空间中多虚拟化身的选位方法 |
| CN114281895B (zh) * | 2021-12-24 | 2023-12-08 | 成都索贝数码科技股份有限公司 | 支持远程拉取的多数据中心同步方法 |
| CN114092290A (zh) * | 2022-01-20 | 2022-02-25 | 华中师范大学 | 一种教育元宇宙中教学系统及其工作方法 |
| CN114743419B (zh) * | 2022-03-04 | 2024-03-29 | 国育产教融合教育科技(海南)有限公司 | 一种基于vr的多人虚拟实验教学系统 |
| CN114995649B (zh) * | 2022-06-14 | 2023-12-29 | 北京新唐思创教育科技有限公司 | 角色召集方法、装置、设备及介质 |
| CN115933868B (zh) * | 2022-10-24 | 2023-08-04 | 华中师范大学 | 翻转讲台的立体综合教学场系统及其工作方法 |
| CN115761249B (zh) * | 2022-12-28 | 2024-02-23 | 北京曼恒数字技术有限公司 | 一种图像处理方法、系统、电子设备及计算机程序产品 |
| CN116433432B (zh) * | 2023-04-18 | 2023-11-21 | 北京漂洋过海科技有限责任公司 | 一种大数据的智慧校园管理系统 |
| CN116153162A (zh) * | 2023-04-20 | 2023-05-23 | 吉林外国语大学 | 一种教育教学用的智能互动学习设备及系统 |
| CN116502923B (zh) * | 2023-06-27 | 2023-09-01 | 南昌菱形信息技术有限公司 | 虚拟仿真教学实训平台的仿真方法及系统 |
| CN116524217B (zh) * | 2023-07-03 | 2023-08-25 | 北京七维视觉传媒科技有限公司 | 人体姿态图像匹配方法、装置、电子设备及存储介质 |
| CN116862730B (zh) * | 2023-09-05 | 2023-11-21 | 山东劳动职业技术学院（山东劳动技师学院） | 一种vr全息教学管理系统 |
| CN116993930B (zh) * | 2023-09-28 | 2023-12-22 | 中冶武勘智诚(武汉)工程技术有限公司 | 一种三维模型教培课件制作方法、装置、设备及存储介质 |
| CN117348730A (zh) * | 2023-10-18 | 2024-01-05 | 江苏食品药品职业技术学院 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
| CN117351797B (zh) * | 2023-10-23 | 2024-10-08 | 江苏安承科技有限公司 | 一种位置实时联动系统 |
| CN117557755B (zh) * | 2023-10-24 | 2024-06-25 | 华中师范大学 | 虚拟场景中师生化身服饰可视化方法及系统 |
| CN118377827A (zh) * | 2024-05-29 | 2024-07-23 | 华能资本服务有限公司 | 一种用于数据调度的自动化集成展示系统 |
| CN118646805A (zh) * | 2024-08-14 | 2024-09-13 | 深圳清华大学研究院 | 基于虚拟现实的纪念馆导览系统 |
| CN118645113A (zh) * | 2024-08-14 | 2024-09-13 | 腾讯科技（深圳）有限公司 | 一种语音信号处理方法、装置、设备、介质及产品 |
| CN118646774A (zh) * | 2024-08-15 | 2024-09-13 | 深圳市卡司通展览股份有限公司 | 一种全自动讲解调控系统、方法及其在机器人中的应用 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648071A (zh) * | 2016-11-21 | 2017-05-10 | 捷开通讯科技(上海)有限公司 | 虚拟现实社交实现系统 |
| CN108074278A (zh) * | 2016-11-17 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 视频呈现方法、装置和设备 |
| CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
| JP2021086145A (ja) * | 2020-06-29 | 2021-06-03 | 株式会社ドワンゴ | 授業システム、視聴端末、情報処理方法およびプログラム |
| CN113095969A (zh) * | 2021-03-11 | 2021-07-09 | 华中师范大学 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
| CN113240782A (zh) * | 2021-05-26 | 2021-08-10 | 完美世界(北京)软件科技发展有限公司 | 基于虚拟角色的流媒体生成方法及装置 |
| CN113242277A (zh) * | 2021-04-19 | 2021-08-10 | 华中师范大学 | 一种5g网络环境下虚拟同步课堂教学系统及其工作方法 |
| CN113362672A (zh) * | 2021-08-11 | 2021-09-07 | 深圳市创能亿科科技开发有限公司 | 基于虚拟现实的教学方法、设备及计算机可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8144148B2 (en) * | 2007-02-08 | 2012-03-27 | Edge 3 Technologies Llc | Method and system for vision-based interaction in a virtual environment |
| US20090325138A1 (en) * | 2008-06-26 | 2009-12-31 | Gary Stephen Shuster | Virtual interactive classroom using groups |
| KR102009400B1 (ko) * | 2017-12-20 | 2019-08-12 | 김기효 | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 |
| CN111402662A (zh) * | 2020-03-30 | 2020-07-10 | 南宁职业技术学院 | 一种vr虚拟的国际物流教学系统 |
| CN112614399A (zh) * | 2020-11-25 | 2021-04-06 | 武汉露娜芭蕾教育科技有限公司 | 一种基于虚拟现实的舞蹈教学设备及其教学方法 |
-
2021
- 2021-09-27 CN CN202111133591.6A patent/CN113593351B/zh active Active
- 2021-12-21 WO PCT/CN2021/139874 patent/WO2023045144A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108074278A (zh) * | 2016-11-17 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 视频呈现方法、装置和设备 |
| CN106648071A (zh) * | 2016-11-21 | 2017-05-10 | 捷开通讯科技(上海)有限公司 | 虚拟现实社交实现系统 |
| JP2021086145A (ja) * | 2020-06-29 | 2021-06-03 | 株式会社ドワンゴ | 授業システム、視聴端末、情報処理方法およびプログラム |
| CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
| CN113095969A (zh) * | 2021-03-11 | 2021-07-09 | 华中师范大学 | 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法 |
| CN113242277A (zh) * | 2021-04-19 | 2021-08-10 | 华中师范大学 | 一种5g网络环境下虚拟同步课堂教学系统及其工作方法 |
| CN113240782A (zh) * | 2021-05-26 | 2021-08-10 | 完美世界(北京)软件科技发展有限公司 | 基于虚拟角色的流媒体生成方法及装置 |
| CN113362672A (zh) * | 2021-08-11 | 2021-09-07 | 深圳市创能亿科科技开发有限公司 | 基于虚拟现实的教学方法、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 分布式VR-GIS海量三维空间数据存储调度模型研究;江媛媛等;《地理空间信息》;20130428;第11卷(第02期);第47-48页 * |
| 基于5G网络的虚拟显示优化方案研究;陈学亮等;《广东通信技术》;20181015;第38卷(第10期);第3-6页以及图5 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023227956A1 (en) * | 2023-02-09 | 2023-11-30 | Asadi Varnousfaderani Parisa | Vr-based learning and content management system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023045144A1 (zh) | 2023-03-30 |
| CN113593351A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113593351B (zh) | 一种立体综合教学场系统的工作方法 | |
| US11410570B1 (en) | Comprehensive three-dimensional teaching field system and method for operating same | |
| Park et al. | A metaverse: Taxonomy, components, applications, and open challenges | |
| WO2021036117A1 (zh) | 一种多空间融合学习环境构建方法和装置 | |
| NL2026359B1 (en) | Method for multi-channel fusion and presentation of virtual learning environment oriented to field practice teaching | |
| KR20220027187A (ko) | 장면 인터랙션 방법 및 장치, 전자 장치 및 컴퓨터 저장 매체 | |
| US11928384B2 (en) | Systems and methods for virtual and augmented reality | |
| CN110531849A (zh) | 一种基于5g通信的增强现实的智能教学系统 | |
| US20200027364A1 (en) | Utilizing machine learning models to automatically provide connected learning support and services | |
| Chen et al. | Be the data: A new approach for lmmersive analytics | |
| Kaushik et al. | A comprehensive analysis of mixed reality visual displays in context of its applicability in IoT | |
| CN117391122A (zh) | 一种基于元宇宙中建立的3d数字人互助式聊天方法 | |
| Coltey et al. | Generalized structure for adaptable immersive learning environments | |
| CN115379278B (zh) | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 | |
| Zhao | Smart preschool education live streaming: VR-driven optimization strategy | |
| Tian | Design of “Immersive” Teaching Situation Simulation System for Law Course Based on Artificial Intelligence | |
| Rajo | Teaching artificial intelligence using virtual reality action interactive system of education for advanced educational outcomes in hunan province of china | |
| CN112270854A (zh) | 一种教学系统、教学设备及教学方法 | |
| KR20160062276A (ko) | 융합인재교육 기반의 에듀테인먼트 콘텐츠 제공 시스템 | |
| Jackson | Facilitating collaborative problem solving with human-centred design: the Making All Voices Count governance programme in 12 countries of Africa and Asia | |
| TWI750613B (zh) | 遠距教學成效呈現系統及方法 | |
| CN116246043B (zh) | 增强现实的视听内容的呈现方法、装置、设备及存储介质 | |
| Li | Research on the innovative development model of ideological and political education based on big data and self-media environment | |
| WO2022160867A1 (zh) | 远程重现方法、系统、装置、设备、介质及程序产品 | |
| Lamb et al. | Artificially intelligent systems in education a tool for the future |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |