CN112562433B - 一种基于全息终端的5g强互动远程专递教学系统的工作方法 - Google Patents

一种基于全息终端的5g强互动远程专递教学系统的工作方法 Download PDF

Info

Publication number
CN112562433B
CN112562433B CN202011604676.3A CN202011604676A CN112562433B CN 112562433 B CN112562433 B CN 112562433B CN 202011604676 A CN202011604676 A CN 202011604676A CN 112562433 B CN112562433 B CN 112562433B
Authority
CN
China
Prior art keywords
teaching
holographic
teacher
lecture
classroom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011604676.3A
Other languages
English (en)
Other versions
CN112562433A (zh
Inventor
杨宗凯
钟正
吴砥
吴珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202011604676.3A priority Critical patent/CN112562433B/zh
Publication of CN112562433A publication Critical patent/CN112562433A/zh
Priority to US17/225,088 priority patent/US11151890B2/en
Application granted granted Critical
Publication of CN112562433B publication Critical patent/CN112562433B/zh
Priority to PCT/CN2021/131153 priority patent/WO2022142818A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明属于信息技术的教学应用领域，提供一种基于全息终端的5G强互动远程专递教学系统及其工作方法，该远程专递教学系统包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；本发明方法借助录播采集设备以及传感器，实时采集主讲教室中主讲教师的多样化教学行为和全息影像；经5G网络链路，实现教室端与云服务器、渲染集群之间的数据传输；音视频流、全息影像等数据经云化解码、情景匹配、GPU实时渲染和云化编码等环节，将渲染完成的全息影像推送到教室端的全息显示终端。本发明有助于满足远程专递教学的需要，为专递课堂提供一种新的全息呈现方式、互动形态。

Description

一种基于全息终端的5G强互动远程专递教学系统的工作方法
技术领域
本发明属于信息技术的教学应用领域，更具体地，涉及一种基于全息终端的5G强互动远程专递教学系统的工作方法。
背景技术
专递课堂主要针对师资力量薄弱的边远地区，令上不齐课、上不好课的农村学校能与高水平的城市中心学校通过互联网同上一堂课。远程专递教学系统利用5G网络环境、全息显示终端能够创设新型的情境化教学环境，其沉浸性、交互性、想象性和智能性的特征，可打破在线直播教学将师生分割屏幕两端所导致的孤独感，以及临场感不足的局限，提高师生的专注度和参与感。借助空间定位和追踪机制，主讲教室中的教师通过眼动、视线、语言等多模态自然交互方式，达成与远程听课教室的师生互动。基于全息终端的5G强互动远程专递教学系统有利于推进教育公平，缩小城乡教育差距，提高教育质量，拥有广阔的应用前景。
现有远程专递教学系统主要是从在线直播教学转换而来，存在如下问题：(1)信息技术条件保障不足：网速慢、卡顿成为在线教学的制约因素，薄弱学校较难开展高水平的在线教学活动；(2)情境化教学环境不够逼真：受网络带宽和渲染能力的影响，现有虚拟现实技术、资源、终端和应用均将大量的渲染工作放在用户终端，较难构建一个可较大规模应用的情境化教学环境；(3)互动性不足：师生之间通过在线视频进行互动，缺乏多模态实时、多样化的方式，难以满足信息化教学模式的创新需要。这些缺陷限制专递教学在实际教学场景中的应用。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于全息终端的5G强互动远程专递教学系统的工作方法，为专递课堂提供一种新的全息呈现方式、互动形态。
本发明的目的是通过以下技术措施实现的。
本发明提供一种基于全息终端的5G强互动远程专递教学系统，包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；
所述数据采集模块用于采集主讲教室与听课教室中师讲生听、师生互动环节的各种教学行为数据；
所述数据传输模块用于实现主讲教室与5G云渲染引擎、听课教室全息终端之间的音视频流、全息影像数据传输；
所述5G云渲染模块用于实现教室端教学视频流和全息影像的高速渲染，所述教室端是指主讲教室与听课教室；
所述自然交互模块通过感知主讲教师的各种交互行为，实现教学过程中教师与全息教学资源、教学环境之间互动；
所述全息显示模块为全息教学资源和自然交互提供展示平台；
所述教学服务模块为各类用户提供教学资源、教学行为与过程分析、教学服务管理。
本发明还提供一种上述的基于全息终端的5G强互动远程专递教学系统的工作方法，包括以下步骤：
(1)数据采集，借助录播采集设备以及动作、表情、头部、视线等传感器，实时采集主讲教室中主讲教师的多样化教学行为和全息影像。
(2)数据传输，经5G网络链路，通过控制、接入、转发技术，实现教室端与云服务器、渲染集群之间的数据传输。
(3)5G云渲染，音视频流、全息影像等数据经云化解码、情景匹配、GPU实时渲染和云化编码等环节，将渲染完成的全息影像推送到教室端的全息显示终端。
(4)自然交互，收集主讲教室全息环境中的相关信息，分析、整理形成不同的运动、情感和行为分类；在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准，教师可主动识别、触发，实现师生与环境、教学资源的互动。
(5)全息显示，根据教学需要，创建交互式、个性化的虚拟教学场景，使用Unity引擎和全息渲染开发包，将虚拟场景输出成全息资源；在教室端，构建虚实融合的全息成像环境，引导主讲教师关注、触发教学环境中空间定位点，实现多模态的交互。
(6)教学服务，教学资源应用发布包括教学资源的发布、推送和空间定位点的更新；通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格、学生上课的投入度，获取教学的情感、行为、效果等评价数据；实现对整个教学服务模块的统一管理。
本发明的有益效果在于：
构建一个基于全息终端的5G强互动远程专递教学系统，借助录播采集设备以及动作、表情、头部、视线等传感器，实时采集主讲教室中主讲教师的多样化教学行为和全息影像；经5G网络链路，通过控制、接入、转发技术，实现教室端与云服务器、渲染集群之间的数据传输。音视频流、全息影像等数据经云化解码、情景匹配、GPU实时渲染和云化编码等环节，将渲染完成的全息影像推送到教室端的全息终端。收集、分析主讲教室全息环境中的相关信息，归纳形成不同的运动、情感和行为分类；在主讲教室中预设空间定位点，关联富媒体教学资源，并与之配准，教师可主动识别、触发，实现师生与环境、教学资源的互动。根据教学需要，创建交互式、个性化的虚拟教学场景，使用Unity引擎和全息渲染开发包，将虚拟场景输出成全息资源；在教室端，构建虚实融合的全息成像环境，引导主讲教师关注、触发教学环境中空间定位点，实现多模态的交互。教学服务模块支持教学资源的发布、推送和空间定位点的更新；通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格、学生上课的投入度，获取教学的情感、行为、效果等评价数据。随着5G网络、全息显示技术的日臻成熟，在课堂教学的应用越来越成熟，本发明有助于满足远程专递教学的需要。
附图说明
图1是本发明实例中基于全息终端的5G强互动远程专递教学系统架构图。
图2是本发明实例中数据采集模块工作流程图。
图3是本发明实例中数据传输模块工作流程图。
图4是本发明实例中5G定位工作流程图。
图5是本发明实例中5G云渲染模块工作流程图。
图6是本发明实例中感知子模块工作流程图。
图7是本发明实例中配准子模块工作流程图。
图8是本发明实例中交互命令输出工作流程图。
图9是本发明实例中全息显示模块工作流程图。
图10是本发明实例中教师与全息教学资源的互动示意图。
图11是本发明实例中教学服务模块资源应用发布工作流程图。
图12是本发明实例中教学服务模块教学行为与过程分析工作流程图。
图13是本发明实例中教学服务模块教学服务管理工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种基于全息终端的5G强互动远程专递教学系统，包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；
所述数据采集模块用于采集主讲教室与听课教室中师讲生听、师生互动环节的各种教学行为数据；
所述数据传输模块用于实现主讲教室与5G云渲染引擎、听课教室全息终端之间的音视频流、全息影像数据传输；
所述5G云渲染模块用于实现教室端教学视频流和全息影像的高速渲染，所述教室端是指主讲教室与听课教室；
所述自然交互模块通过感知主讲教师的各种交互行为，实现教学过程中教师与全息教学资源、教学环境之间互动；
所述全息显示模块为全息教学资源和自然交互提供展示平台；
所述教学服务模块为各类用户提供教学资源、教学行为与过程分析、教学服务管理。
本实施例还提供一种上述的基于全息终端的5G强互动远程专递教学系统的工作方法(以下具体说明系统中各模块的工作流程)：
(1)数据采集模块。针对主讲教室中师讲生听、师生互动等教学活动中主讲教师的多样化教学行为，按照图2所示的数据采集流程图，借助录播采集设备以及动作、表情、头部、视线等传感器，实时采集主讲教室中教师的视频、语音、手势和躯干动作、面部表情、头部转动、视线聚焦等教学行为数据，以及全息互动影像。所述数据采集具体包括如下步骤：
(1-1)语音、视频数据采集。数据通过多流录制模式，将录播系统摄录的主讲教室视频、音频信号整合同步录制形式：采用G.728音频协议将语音数据存储为PCM格式；采用HEVA视频协议，将HDMI视频源编码压缩成4K分辨率的标准化流媒体内容，在教学服务模块生成MP4格式的点播列表。
(1-2)姿态数据采集。运用深度传感设备采集主讲教师的深度图像，获取其骨架数据；使用基于惯性的动作捕捉设备追踪教师的25个关键骨骼部位，进行高密度、多角度、典型特征的信息采集，采用通采的动作BVH格式记录主讲教师的动作，上传到云渲染引擎，辅助后续数据感知与全息环境的交互。
(1-3)头部与视线数据追踪。在主讲教室运用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，采用头部姿态估计技术，实时获取主讲教师头部的空间姿态，将其与眼动检测的坐标系进行合成和转换，设置眨眼补偿时间参数和追踪丢失补偿时间戳，记录凝视点的保持时长，量化感兴趣区域的视觉注意力，采用evs格式描述上述关键参数，包括主讲教师头部的空间姿态、眨眼补偿时间参数、追踪丢失补偿时间戳、凝视点的保持时长和兴趣区域参数。
I.以摄像机为原点建立头部坐标系，通过摄像头捕捉教师头部姿态旋转的四元数，构建运动方向模型；
II.综合头部姿态欧拉角，确定主讲教室教师的视线范围；
III.实时捕捉教师头部的三维姿态角，将其与眼动检测的坐标系进行合成和转换，从而实现头、眼结合的注视目标跟踪。
(1-4)表情数据采集。采用回归树的人脸对齐算法，建立级联残差回归树(GBDT)，采用GBDT梯度提升决策树
Figure GDA0003134992470000071
估计人脸关键点的位置，
Figure GDA0003134992470000072
是第t级回归器的形状，t表示级联的级数，I为图像，rt表示当前级的回归器；
首先，通过深度摄像采用人脸区域检测技术过滤无关背景获得教师人脸区域；
然后，将“由粗到精”的搜索匹配策略用于人脸区域，检测视频序列中主讲教师人脸关键点，提取眼睛、眉毛和嘴部等特征点的3D坐标，基于AAM及CLM方法，融合人体模型与局部纹理模型，进行多姿态人脸特征点提取；
最后利用摄像头捕捉面部器官的轮廓，动态采集表情信息，完成人脸面部不同表情的实时追踪。
(1-5)全息影像采集。采用广角采集技术，多角度、多机位扫描主讲教室，实时融合主讲教师的授课视频图像；根据教室光源的方向和强度，及时调整教师的站位，保持双眼视差的均衡值，动态采集、跟踪主讲教师的授课过程。
(2)数据传输模块。将教室端采集到的数据与云渲染内容，按图3所示，经5G/WIFI/定位模块与无线路由器、5G等广域IP网络链路，通过控制、接入、转发技术，实现教室端与云服务器、渲染集群之间的数据传输，优化5G网络接入、传输路径、多条件资源部署、云端网络转发功能，保障强互动远程专递教室使用的灵活性及高效性。
(2-1)教室端5G网络接入。在主讲和听课教室端使用无线和有线两种方式接入5G网络：在无线接入方案中采用集中化无线接入网C-RAN，将5G信号转成WIFI信号；有线专线方案中采用CPE作为OTN专线设备，运用AP将信号转成WIFI信号；有线光纤方案通过光网关、分光器等设备，接入光纤信号，实现各教室端数据收发、信道质量等信息资源共享，强化协作关系。
(2-2)5G定位：如图4所示，通过WIFI、共频带、局域网、惯性传感器等定位测量技术，采用高频或毫米波通信方法，利用混合定位算法融合位置估计，预测传输响应目标接收端的定位结果，减少异常定位，提高定位的可靠性和稳定性，输出最优的定位结果与决策响应。
(2-3)数据传输链路：采用中心云和边缘计算相结合的方式，串联云、端、5G核心网、基站，确保4K超高清视频和全息影像内容的即采即传；MEC多接入边缘计算具有“连接+计算+存储”的能力，能够将业务下沉部署到网络的边缘(如5G网络的UPF侧)，分担更多的核心网流量和运算能力，传输信号被基站接受后，在MEC服务器中直接处理，并根据规则对传输情况实时调整，优化数据传输和信号处理流程。
(3)5G云渲染模块。如图5所示，主讲教室与听课教室中音视频流、全息影像等数据通过5G链路传输到云渲染模块，经云化解码、情景匹配、GPU实时渲染和云化编码等环节，将渲染完成的全息影像推送到教室端的全息显示终端。
(3-1)云化解码。云化解码与云化编码是一对相反过程，云渲染模块接受通过5G网络传输过来的音视频流和全息影像，结合采集的其他交互数据，完成解码工作，主要步骤包括熵解码、预测、反量化、反变换和环路过滤器步骤，其具体实现步骤如下：
I.在熵解码过程中，解码器取得压缩比特流；
II.数据元素经过熵解码和重排序生成一系列量化后的系数X；
III.经过反量化和反变换生成Dn`，并与编码端的Dn`保持一致；
IV.使用从比特流中解码出来的头信息，解码器生成预测宏块P，与先前在编码器中生成的预测宏块P一致。
(3-2)情境匹配。结合教学情境以及主讲教师与资源的互动行为，确定主讲教师视角下，下一帧需要呈现的全息影像画面，不同的教学情境、交互操作需要相应的更新教学场景中各个模对应位置、姿态和尺寸等缩放比例，从而确定下一帧渲染画面的内容。
(3-3)GPU云渲染。包括渲染调度、GPU算力、渲染引擎等功能，支持上传的教室端音视频流、全息影像的渲染。综合运用GPU算力，通过渲染引擎完成每帧画面内容的渲染，生成新的全息影像和声音，其具体云渲染工作流程如下：
I.渲染引擎创建多线程并行执行。在主线程设置渲染完成标记A，视频块封装完成标记B，使A＝false、B＝false。根据接收到的视频图像宽和高确定渲染信息，同时开启发送线程和交互线程，并行执行下述步骤。
II.根据A判断是否开始渲染，若A为假，则进行三维场景渲染，完成渲染将A设为真；根据A和B判断是否进行压缩，若A为真、B为假，将渲染图像压缩成H265视频流的帧，放入视频容器缓冲区Buffer，将A设为假；循环步骤III直至渲染线程结束。
III.发送线程判断当前H265视频块内包含压缩帧数是否达到FPS的六分之一，若达到则将B置为真，为MP4视频容器缓冲区尾部添加文件并调整头文件相关信息。同时初始化MP4视频容器和压缩编码器参数，将B置为假；循环执行步IV直至发送线程结束。
IV.在交互线程中如果接收到交互数据，并且A为真，则将接收到的交互数据传至渲染引擎。
(3-4)云化编码。使用压缩率高、鲁棒性强的H265视频编码标准对云渲染生成的音视频流与全息影像进行编程，为保持帧间隔的稳定，采用无B帧编码的形式，其主要操作过程包括：预测、变换、量化处理、熵编码和环路过滤器。
(3-5)云、端异步渲染。为保证流畅的用户体验，采用异步渲染技术保证云渲染、全息显示之间MTP小于等于20ms，即教室全息终端上的全息影像画面与云渲染引擎正在渲染的帧之间相保持不多于2帧的差距，确保主讲教室与听课教室之间的视觉同步。
(3-6)负载均衡算法。在全息影像渲染过程中，采用基于动态预测递归深度的负载均衡算法，确保根据每颗GPU的渲染绘制性能，承担相应的负载量，保证绘制时间大体一致，令渲染系统始终处于较为稳定的状态。
(4)自然交互模块。收集主讲教室全息环境中的相关信息，分析、整理主讲教师的特征，形成不同的运动、情感和行为分类；根据教学要求，在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准，教师可主动识别、触发空间定位点；根据交互输入类型，生成可与全息影像交互的各种操作命令，实现师生与环境、教学资源的互动。
(4-1)感知子模块。收集主讲教室全息成像环境中虚拟对象、虚拟场景和主讲教师的相关信息；在教学策略库、行为规则库、领域知识库支持下，分析、整理主讲教师的特征，形成不同的运动、情感、行为分类。
(4-1-1)信息收集。如图6所示，收集主讲教室中的相关信息，如全息成像环境中教学对象的增加、删除、修改和重组，虚拟场景的跳转、跳转次序等，以及主讲教师的身体姿态、面部表情、头部移动、视线变化等特征数据和行为变化；
(4-1-2)信息处理。根据教学目标、风格和特征，在教学策略库、行为规则库、领域知识库支持下，分析、整理主讲教师的特征数据，针对反应型、复合型、智能型等不同层次的特征数据，按照运动、情感和行为进行分类。
(4-2)配准子模块。如图7所示，构建教学场景，根据教学要求，在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准；教学过程中，教师可主动识别、触发空间定位点关联的教学资源，在全息显示终端呈现教学资源的全息影像。
(4-2-1)预设空间定位点。在主讲教室中构建全息显示环境，通过空间定位点，主讲教师可预先设置、定位教学资源到教室空间某个位置，在教学过程中方便、灵活地调用，提高加载速度，减少触发全息场景的时间和步骤。
(4-2-2)关联教学资源。根据学科教学要求，主讲教师创建、编辑适应于全息成像环境展示的富媒体教学资源，在真实环境中配准虚拟内容，并设置触发条件，完成教学资源与真实空间定位点的关联，采用JSON格式记录相应存储信息，并上传到云端。
(4-2-3)空间定位点的触发。在主讲教室开展授课、答疑、互动等活动时，根据教学需要，主讲教师可主动触发空间定位点所关联的教学资源，譬如主讲教师的视线方向(正负15°范围)和距离(小于3米)满足触发阈值后，全息终端上将会呈现其所关联的教学资源的全息影像。
(4-3)交互输出命令。如图8所示，根据主讲教师的交互输入类型，调用行为规则，生成可与教学资源交互的各种操作命令；教师可以自主跳转、切换全息教学环境的界面、场景和模型，实现与环境、教学资源的互动。
(4-3-1)交互命令。根据主讲教师的交互输入类型，调用对应语音、手势、躯干、视线、头部等输入特征的执行规则，生成可与关联在空间定位点的全息教学资源影像进行各种互动的推、拉、摇、移、拽等操作命令。
(4-3-2)命令输出。根据手势、体态等交互命令，主讲教师可以选定、旋转、缩放、移动、显示/隐藏、动画播放等空间定位点上关联的全息教学内容，自主跳转、切换全息教学环境的界面、场景和模型，实现与环境、教学资源的互动。
(5)全息显示模块。包括全息教学资源创建、全息成像环境构建、全息互动等子模块。如图9所示，根据教学需要，创建交互式、个性化的虚拟教学场景，使用Unity引擎和全息渲染开发包，将虚拟场景输出成全息资源；在主讲和听课教室配备不同的全息终端，构建虚实融合的全息成像环境；通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师，关注、触发教学环境中空间定位点，实现多模态的交互。
(5-1)全息教学资源的创建。根据教学需要，修改教学场景中3D模型的显示属性、音效和播放次序，完成个性化、交互式虚拟教学场景的编辑；使用Unity引擎和全息渲染开发包，将逼真度高、交互性强的虚拟教学场景输出成全息资源。
(5-1-1)交互式虚拟教学场景编辑。搭建完善的虚拟教学资源库，教师可快速查找、选择所需的虚拟教学资源；根据教学需要，修改教学场景中3D模型的几何、纹理、材质等属性，添加声音和声效，指定虚拟场景的渲染方式，设置虚拟场景的动画播放次序，完成个性化、交互式虚拟教学场景的编辑。
(5-1-2)全息教学资源的创建。使用Unity引擎和全息渲染开发包，将逼真度高、交互性强的虚拟教学场景输出成全息资源，实现操作即所得的全息教学资源的创建，将它们与空间定位点关联，根据教学需要，激发、调用、观看全息教学资源影像。
(5-2)全息成像环境构建。在主讲教室，为主讲教师配备具有增强现实功能的全息头显，在听课教室采用全息投影仪、全息LED屏、全息薄膜等不同配置形式；使用全息显示终端，构建由虚拟教学资源与主讲教室真实空间叠加形成的全息教学环境。
(5-2-1)全息显示终端。在主讲教室，为主讲教师配备具有增强现实功能的全息头显，通过5G网络将云渲染的全息画面传送到远程听课教室；在听课教室采用全息投影仪、全息LED屏、全息薄膜等配置形式，通过全息渲染方式立体再现主讲教室中的教学活动。
(5-2-2)全息教学环境的构建。在主讲教室，使用全息显示终端，构建由全息教学资源与真实空间叠加形成的全息教学环境，构建一个主讲教师、教学资源与真实环境的信息交互回路；通过设置第一视角，听课教室的师生获得与主讲教师相同的视觉体验。
(5-3)全息互动。通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师关注、触发教学环境中空间定位点，使用手势、视线、语音等方式拖动、旋转、缩放眼前全息成像环境中的对象。
(5-3-1)交互引导。全息成像系统可充分利用教室的空间环境，通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师关注、触发全息教学环境中空间定位点，呈现所关联的全息教学资源视频，主讲教师可根据教学流程，与教学资源互动。
(5-3-2)实时交互。借助全息头显内置的传感器和定位追踪功能，捕捉主讲教师在全息教学空间中的位置和动作信息；主讲教师也能从多角度观看教学资源中虚拟对象的细节，使用手势、视线、语音等方式拖动、旋转、缩放全息环境中的虚拟对象。
如图10所示，主讲教师讲授地理课时，可将地球模型投射到主讲教室中，通过手势操作，可放大、缩小、翻转地球模型，从不同的角度观看模型。
(6)教学服务模块。包括教学资源应用发布、教学行为和过程分析、教学服务管理三大子模块。教学资源应用发布包括教学资源的发布、推送和空间定位点的更新；通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格、学生上课的投入度，获取教学的情感、行为、效果等评价数据；实现对整个教学服务模块的统一管理，确保安全性和数据的完整性与一致性。
(6-1)教学资源应用发布。如图11所示，根据教室端采集到的配置信息，发布适配多终端的教学资源，通过消息推送和热更新机制，向客户端推送更新数据包，记录空间定位点的信息，同步更新到云端。
(6-1-1)教学资源的发布。依据教师的权限，提供不同教学资源的下载权限，参照主讲教室与听课教室终端的操作系统、屏幕分辨率尺寸等属性，提供不同分辨率的内容匹配，根据空间定位点的绝对坐标完成资源的多终端适配，确保互动时不发生偏移。
(6-1-2)教学资源应用的推送。根据后台记录的教室端信息，教学服务模块通过消息推送机制向其发送升级、更新信息，采用热更新方式，将在云端更新的课程内容、教学资源、虚拟场景等，通过数据包的形式推送到教室端。
(6-1-3)空间定位点的同步更新。采用JSON格式记录主讲教师在课程资源中设置、编辑的空间定位点信息，包括ID，三维位置，全息教学场景的元素、状态、位置、姿态、缩放比例等参数；将其同步存储到云端，满足专递教室系统中不同终端上相同空间位置的共享体验。
(6-2)教学行为与过程分析。如图12所示，通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格；基于BERI模型分析听讲教室学生上课的投入度，获取教学的情感、行为、效果等评价数据。
(6-2-1)教学统计。针对本系统师生所处的远程、全息教学环境，课前实时记录教师备课和学生预习的情况，课中实时查看师生操作过程，课后分析学生作业完成情况以及知识掌握牢固点与薄弱点数据，基于S-T模型分析主讲老师的授课风格。
(6-2-2)学生课堂行为画像。基于BERI模型分析听讲教室学生上课的投入度，获取教学的情感、行为、效果等评价数据；综合学生作业成绩、作业完成进度等情况，实现对每个学生的精确画像描述。
(6-2-3)教学活动优化。实时监控和计量教学活动，完成服务节点同步配置、负载均衡配置和资源监控，确保主讲教室的教学活动能顺利同步到各听讲教室；根据各教室端的IP地址，监视、判断各个节点状态，智能化地选择最优节点，提供优质资源和服务。
(6-3)教学服务管理。实现对整个教学服务系统的统一管理，包括图13中教师权限、教学资源、教学活动、系统设置、系统维护、参数设置、数据备份和恢复，保证教学系统的安全性和数据的完整性与一致性。
(6-3-1)教师权限管理。负责教师用户使用教学服务模块时的登陆、验证、计时、资源编辑、教室创建等功能，协助教师用户登录教学服务模块，通过身份验证，记录教师的使用时间，依据权限检索虚拟教学资源，创建或登陆专递教室。
(6-3-2)教学资源管理。采用“目录式场景树”按照学段>学科>单元>知识点的层次管理虚拟教学资源及其录播教学资源，每个节点都对应一个教学资源，节点可清晰反应其所在的位置和层级关系，清晰的结构便于教师的组织、查询、下载和管理。
(6-3-3)教学活动管理。在专递教室系统中实现多种形态的教学活动灵活组织，支持一校带多点的形式：即支持一个主讲课堂带多个听课教室同步在线上课；或者一校带多校园，即支持多个主讲课堂带多个听课教室同步线上教学。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于全息终端的5G强互动远程专递教学系统的工作方法，其特征在于：所述基于全息终端的5G强互动远程专递教学系统包括数据采集模块、数据传输模块、5G云渲染模块、自然交互模块、全息显示模块和教学服务模块；
所述数据采集模块用于采集主讲教室与听课教室中师讲生听、师生互动环节的各种教学行为数据；
所述数据传输模块用于实现主讲教室与5G云渲染引擎、听课教室全息终端之间的音视频流、全息影像数据传输；
所述5G云渲染模块用于实现教室端教学视频流和全息影像的高速渲染，所述教室端是指主讲教室与听课教室；
所述自然交互模块通过感知主讲教师的各种交互行为，实现教学过程中教师与全息教学资源、教学环境之间互动；
所述全息显示模块为全息教学资源和自然交互提供展示平台；所述全息显示模块在主讲教室与听课教室配备不同的全息显示终端，构建虚实融合的全息成像环境：在主讲教室为主讲教师配备具有增强现实功能的全息头显，通过5G网络将云渲染的全息画面传送到远程听课教室；在听课教室采用全息投影仪、全息LED屏、全息薄膜配置形式，通过全息渲染方式立体再现主讲教室中的教学活动；
所述教学服务模块为各类用户提供教学资源、教学行为与过程分析、教学服务管理；
上述基于全息终端的5G强互动远程专递教学系统的工作方法包括以下步骤：
(1)数据采集，针对主讲教室中师讲生听、师生互动教学活动中主讲教师的多样化教学行为，借助录播采集设备以及动作、表情、头部、视线传感器，实时采集主讲教室中教师的视频、语音、手势和躯干动作、面部表情、头部转动、视线聚焦数据，以及全息互动影像；
(1-1)语音、视频数据采集，通过多流录制模式，将录播系统摄录的主讲教室视频、音频信号整合同步录制形式：采用G.728音频协议将语音数据存储为PCM格式；采用HEVA视频协议，将HDMI视频源编码压缩成4K分辨率的标准化流媒体内容，在教学服务模块生成MP4格式的点播列表；
(1-2)姿态数据采集，运用深度传感设备采集主讲教师的深度图像，获取其骨架数据；使用基于惯性的动作捕捉设备追踪教师的25个关键骨骼部位，采用通用动作BVH格式记录主讲教师的动作，上传到云渲染引擎，辅助后续数据感知与全息环境的交互；
(1-3)头部与视线数据追踪，在主讲教室运用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，采用头部姿态估计技术，实时获取主讲教师头部的空间姿态，将其与眼动检测的坐标系进行合成和转换，设置眨眼补偿时间参数和追踪丢失补偿时间戳，记录凝视点的保持时长，量化感兴趣区域的视觉注意力，采用evs格式描述上述关键参数，包括主讲教师头部的空间姿态、眨眼补偿时间参数、追踪丢失补偿时间戳、凝视点的保持时长和兴趣区域参数；
(1-4)表情数据采集，采用回归树的人脸对齐算法，建立级联残差回归树，检测视频序列中主讲教师人脸关键点数据，提取眼睛、眉毛和嘴部特征点的3D坐标，采用UTF8MB4格式的字符串描述面部表情捕捉信息；
(1-5)全息影像采集，采用广角采集技术，多角度、多机位扫描主讲教室，实时融合主讲教师的授课视频图像；根据教室光源的方向和强度，及时调整教师的站位，保持双眼视差的均衡值，动态采集、跟踪主讲教师的授课过程；
(2)数据传输，将教室端采集到的数据与云渲染内容，经5G/WIFI/定位模块与无线路由器、5G广域IP网络链路，通过控制、接入、转发技术，实现教室端与云服务器、渲染集群之间的数据传输，优化5G网络接入、传输路径、多条件资源部署、云端网络转发功能；
(2-1)教室端5G网络接入，在主讲和听课教室端使用无线和有线两种方式接入5G网络：在无线接入方案中采用集中化无线接入网C-RAN，将5G信号转成WIFI信号；有线专线方案中采用CPE作为OTN专线设备，运用AP将信号转成WIFI信号；有线光纤方案通过光网关、分光器设备，接入光纤信号，实现各教室端数据收发、信道质量信息资源共享，强化协作关系；
(2-2)5G定位，通过WIFI、共频带、局域网、惯性传感器定位测量技术，采用高频或毫米波通信方法，利用混合定位算法融合位置估计，预测传输响应目标接收端的定位结果，减少异常定位，提高定位的可靠性和稳定性，输出最优的定位结果与决策响应；
(2-3)数据传输链路，采用中心云和边缘计算相结合的方式，串联云、端、5G核心网、基站，确保4K超高清视频和全息影像内容的即采即传；利用MEC边缘计算分担更多的核心网流量和运算能力，优化数据传输和信号处理流程；
(3)5G云渲染，主讲教室、听课教室中音视频流、全息影像数据通过5G链路传输到云渲染模块，经云化解码、情景匹配、GPU实时渲染和云化编码环节，将渲染完成的全息影像推送到教室端的全息显示终端；
(3-1)云化解码，云化解码与云化编码是一对相反过程，云渲染模块接受通过5G网络传输过来的音视频流和全息影像，结合采集的其他交互数据，完成解码工作，步骤包括熵解码、预测、反量化、反变换和环路过滤器；
(3-2)情境匹配，结合教学情境以及主讲教师与资源的互动行为，确定主讲教师视角下，下一帧需要呈现的全息影像画面，不同的教学情境、交互操作需要更新教学场景中对应模型的位置、姿态和缩放比例属性，从而确定下一帧渲染画面的内容；
(3-3)GPU云渲染，包括渲染调度、GPU算力、渲染引擎功能，支持上传的教室端音视频流、全息影像的渲染，综合运用GPU算力，通过渲染引擎完成每帧画面内容的渲染，生成新的全息影像和声音；
(3-4)云化编码，使用压缩率高、鲁棒性强的H265视频编码标准对云渲染生成的音视频流与全息影像进行编程，为保持帧间隔的稳定，采用无B帧编码形式，步骤包括：预测、变换、量化处理、熵编码和环路过滤器；
(3-5)云、端异步渲染，为保证流畅的用户体验，采用异步渲染技术保证云渲染、全息显示之间MTP小于等于20ms，即教室全息终端上的全息影像画面与云渲染引擎正在渲染的帧之间相保持不多于2帧的差距，确保主讲教室与听课教室之间的视觉同步；
(3-6)负载均衡算法，在全息影像渲染过程中，采用基于动态预测递归深度的负载均衡算法，确保根据每颗GPU的渲染绘制性能，承担相应的负载量，保证绘制时间大体一致，令渲染系统始终处于较为稳定的状态；
(4)自然交互，收集主讲教室全息环境中的相关信息，分析、整理主讲教师的特征，形成不同的运动、情感和行为分类；根据教学要求，在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准，教师可主动识别、触发空间定位点；根据交互输入类型，生成可与全息影像交互的各种操作命令，实现师生与环境、教学资源的互动；
(4-1)感知，收集主讲教室全息成像环境中虚拟对象、虚拟场景和主讲教师的相关信息；在教学策略库、行为规则库、领域知识库支持下，分析、整理主讲教师的特征，形成不同的运动、情感、行为分类；
(4-1-1)信息收集，收集主讲教室中的相关信息，包括全息成像环境中教学对象的增加、删除、修改和重组，虚拟场景的跳转、跳转次序，以及主讲教师的身体姿态、面部表情、头部移动、视线变化特征数据和行为变化；
(4-1-2)信息处理，根据教学目标、风格和特征，在教学策略库、行为规则库、领域知识库支持下，分析、整理主讲教师的特征数据，针对反应型、复合型、智能型不同层次的特征数据，按照运动、情感和行为进行分类；
(4-2)配准，构建虚实融合的教学场景，根据教学要求，在主讲教室中预设空间定位点，关联富媒体教学资源，并与教室空间定位点配准；教学过程中，教师可主动识别、触发空间定位点关联的教学资源，在全息终端呈现教学资源的全息影像；
(4-2-1)预设空间定位点，在主讲教室中构建全息显示环境，通过空间定位点，主讲教师可预先设置、定位教学资源到教室空间某个位置，在教学过程中方便、灵活地调用，提高加载速度，减少触发全息场景的时间和步骤；
(4-2-2)关联教学资源，根据学科教学要求，主讲教师创建、编辑适应于全息成像环境展示的富媒体教学资源，在真实环境中配准虚拟内容，并设置触发条件，完成教学资源与真实空间定位点的关联，采用JSON格式记录相应存储信息，并上传到云端；
(4-2-3)空间定位点的触发，在主讲教室开展授课、答疑、互动活动时，根据教学需要，主讲教师可主动触发空间定位点所关联的教学资源；
(4-3)交互输出命令，根据主讲教师的交互输入类型，调用行为规则，生成可与教学资源交互的各种操作命令；教师可以自主跳转、切换全息教学环境的界面、场景和模型，实现与环境、教学资源的互动；
(4-3-1)交互命令，根据主讲教师的交互输入类型，调用对应语音、手势、躯干、视线、头部输入特征的执行规则，生成可与关联在空间定位点的全息教学资源影像进行各种互动的推、拉、摇、移、拽操作命令；
(4-3-2)命令输出，根据手势、体态交互命令，主讲教师可以选定、旋转、缩放、移动、显示/隐藏、动画播放空间定位点上关联的全息教学内容，自主跳转、切换全息教学环境的界面、场景和模型，实现与环境、教学资源的互动；
(5)全息显示，包括全息教学资源创建、全息成像环境构建、全息互动，根据教学需要，创建交互式、个性化的虚拟教学场景，使用Unity引擎和全息渲染开发包，将虚拟场景输出成全息资源；在主讲和听课教室配备不同的全息显示终端，构建虚实融合的全息成像环境；通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师，关注、触发教学环境中空间定位点，实现多模态的交互；
(5-1)全息教学资源的创建，根据教学需要，修改教学场景中3D模型的显示属性、音效和播放次序，完成个性化、交互式虚拟教学场景的编辑；使用Unity引擎和全息渲染开发包，将逼真度高、交互性强的虚拟教学场景输出成全息资源；
(5-1-1)交互式虚拟教学场景编辑，搭建完善的虚拟教学资源库，教师可快速查找、选择所需的虚拟教学资源；根据教学需要，修改教学场景中3D模型的几何、纹理、材质属性，添加声音和声效，指定虚拟场景的渲染方式，设置虚拟场景的动画播放次序，完成个性化、交互式虚拟教学场景的编辑；
(5-1-2)全息教学资源的创建，使用Unity引擎和全息渲染开发包，将逼真度高、交互性强的虚拟教学场景输出成全息资源，实现操作即所得的全息教学资源的创建，将它们与空间定位点关联，根据教学需要，激发、调用、观看全息教学资源影像；
(5-2)全息成像环境构建，在主讲教室，为主讲教师配备具有增强现实功能的全息头显，在听课教室采用全息投影仪、全息LED屏、全息薄膜不同配置形式；使用全息显示终端，构建由虚拟教学资源与主讲教室真实空间叠加形成的全息教学环境；
(5-2-1)全息教学环境的构建，在主讲教室，使用全息显示终端，构建由全息教学资源与真实空间叠加形成的全息教学环境，构建一个主讲教师、教学资源与真实环境的信息交互回路；通过设置第一视角，听课教室的师生获得与主讲教师相同的视觉体验；
(5-3)全息互动，通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师关注、触发教学环境中空间定位点，使用手势、视线、语音方式拖动、旋转、缩放眼前全息成像环境中的对象；
(5-3-1)交互引导，全息成像系统可充分利用教室的空间环境，通过视觉提示、触觉反馈、语音或音效方式，引导主讲教师关注、触发全息教学环境中空间定位点，呈现所关联的全息教学资源视频，主讲教师可根据教学流程，与教学资源互动；
(5-3-2)实时交互，借助全息头显内置的传感器和定位追踪功能，捕捉主讲教师在全息教学空间中的位置和动作信息；主讲教师也能从多角度观看教学资源中虚拟对象的细节，使用手势、视线、语音方式拖动、旋转、缩放全息环境中的虚拟对象；
(6)教学服务，包括教学资源应用发布、教学行为和过程分析、教学服务管理，教学资源应用发布包括教学资源的发布、推送和空间定位点的更新；通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格、学生上课的投入度，获取教学的情感、行为、效果评价数据；实现对整个教学服务模块的统一管理，确保安全性和数据的完整性与一致性；
(6-1)教学资源应用发布，根据教室端采集到的配置信息，发布适配多终端的教学资源，通过消息推送和热更新机制，向客户端推送更新数据包，记录空间定位点的信息，同步更新到云端；
(6-1-1)教学资源的发布，依据教师的权限，提供不同教学资源的下载权限，参照主讲教室与听课教室终端的操作系统、屏幕分辨率尺寸属性，提供不同分辨率的内容匹配，根据空间定位点的绝对坐标完成资源的多终端适配，确保互动时不发生偏移；
(6-1-2)教学资源应用的推送，根据后台记录的教室端信息，教学服务模块通过消息推送机制向其发送升级、更新信息，采用热更新方式，将在云端更新的课程内容、教学资源、虚拟场景，通过数据包的形式推送到教室端；
(6-1-3)空间定位点的同步更新，采用JSON格式记录主讲教师在课程资源中设置、编辑的空间定位点信息，包括ID，三维位置，全息教学场景的元素、状态、位置、姿态、缩放比例参数；将其同步存储到云端，满足专递教室系统中不同终端上相同空间位置的共享体验；
(6-2)教学行为与过程分析，通过统计师生课前、课中和课后的教学情况，分析主讲教师的授课风格；基于BERI模型分析听讲教室学生上课的投入度，获取教学的情感、行为、效果评价数据；
(6-2-1)教学统计，针对本系统师生所处的远程、全息教学环境，课前实时记录教师备课和学生预习的情况，课中实时查看师生操作过程，课后分析学生作业完成情况以及知识掌握牢固点与薄弱点数据，基于S-T模型分析主讲老师的授课风格；
(6-2-2)学生课堂行为画像，基于BERI模型分析听讲教室学生上课的投入度，获取教学的情感、行为、效果评价数据；综合学生作业成绩、作业完成进度情况，实现对每个学生的精确画像描述；
(6-2-3)教学活动优化，实时监控和计量教学活动，完成服务节点同步配置、负载均衡配置和资源监控，确保主讲教室的教学活动能顺利同步到各听讲教室；根据各教室端的IP地址，监视、判断各个节点状态，智能化地选择最优节点，提供优质资源和服务；
(6-3)教学服务管理，实现对整个教学服务系统的统一管理，包括教师权限、教学资源、教学活动、系统设置、系统维护、参数设置、数据备份和恢复，保证教学系统的安全性和数据的完整性与一致性；
(6-3-1)教师权限管理，负责教师用户使用教学服务模块时的登陆、验证、计时、资源编辑、教室创建功能，协助教师用户登录教学服务模块，通过身份验证，记录教师的使用时间，依据权限检索虚拟教学资源，创建或登陆专递教室；
(6-3-2)教学资源管理，采用“目录式场景树”按照学段>学科>单元>知识点的层次管理虚拟教学资源及其录播教学资源，每个节点都对应一个教学资源，节点可清晰反应其所在的位置和层级关系，清晰的结构便于教师的组织、查询、下载和管理；
(6-3-3)教学活动管理，在专递教室系统中实现多种形态的教学活动灵活组织，支持一校带多点的形式：即支持一个主讲课堂带多个听课教室同步在线上课；或者一校带多校园，即支持多个主讲课堂带多个听课教室同步在线上课。
CN202011604676.3A 2020-12-30 2020-12-30 一种基于全息终端的5g强互动远程专递教学系统的工作方法 Active CN112562433B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011604676.3A CN112562433B (zh) 2020-12-30 2020-12-30 一种基于全息终端的5g强互动远程专递教学系统的工作方法
US17/225,088 US11151890B2 (en) 2020-12-30 2021-04-07 5th-generation (5G) interactive distance dedicated teaching system based on holographic terminal and method for operating same
PCT/CN2021/131153 WO2022142818A1 (zh) 2020-12-30 2021-11-17 一种基于全息终端的5g强互动远程专递教学系统的工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011604676.3A CN112562433B (zh) 2020-12-30 2020-12-30 一种基于全息终端的5g强互动远程专递教学系统的工作方法

Publications (2)

Publication Number Publication Date
CN112562433A CN112562433A (zh) 2021-03-26
CN112562433B true CN112562433B (zh) 2021-09-07

Family

ID=75034332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011604676.3A Active CN112562433B (zh) 2020-12-30 2020-12-30 一种基于全息终端的5g强互动远程专递教学系统的工作方法

Country Status (3)

Country Link
US (1) US11151890B2 (zh)
CN (1) CN112562433B (zh)
WO (1) WO2022142818A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871164B (zh) * 2019-01-25 2020-10-16 维沃移动通信有限公司 一种消息发送方法及终端设备
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN111260976B (zh) * 2020-03-20 2021-07-16 上海松鼠课堂人工智能科技有限公司 基于物联网的教学系统
CN112562433B (zh) * 2020-12-30 2021-09-07 华中师范大学 一种基于全息终端的5g强互动远程专递教学系统的工作方法
CN113095208B (zh) * 2021-04-08 2024-01-26 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统
CN113242277B (zh) * 2021-04-19 2021-12-10 华中师范大学 一种5g网络环境下虚拟同步课堂教学系统及其工作方法
CN116310023A (zh) * 2021-05-07 2023-06-23 贺之娜 一种基于5g的三维实时云渲染模拟系统及模拟方法
US11868523B2 (en) * 2021-07-01 2024-01-09 Google Llc Eye gaze classification
CN113487082B (zh) * 2021-07-06 2022-06-10 华中师范大学 一种虚拟实验教学资源的注记复杂度度量和优化配置方法
CN115909825A (zh) * 2021-08-12 2023-04-04 广州视源电子科技股份有限公司 实现远程教育的系统、方法及教学端
CN113724399B (zh) * 2021-09-02 2023-10-27 江西格灵如科科技有限公司 一种基于虚拟现实教学知识点展示方法和系统
CN113965609B (zh) * 2021-09-13 2024-04-26 武汉灏存科技有限公司 群控式交互系统及方法
CN113821104A (zh) * 2021-09-17 2021-12-21 武汉虹信技术服务有限责任公司 一种基于全息投影的可视化交互系统
US11410570B1 (en) 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN113593351B (zh) * 2021-09-27 2021-12-17 华中师范大学 一种立体综合教学场系统的工作方法
CN113934635B (zh) * 2021-10-21 2022-07-19 江苏安超云软件有限公司 基于异构处理器提供同等算力云服务的方法及应用
CN114005310A (zh) * 2021-10-28 2022-02-01 北京同思佳创电子技术有限公司 全息交互教学系统
CN114005309A (zh) * 2021-10-28 2022-02-01 北京同思佳创电子技术有限公司 一种利用全息交互设备互动课堂的教学方法
CN114007098B (zh) * 2021-11-04 2024-01-30 Oook(北京)教育科技有限责任公司 一种用于智能课堂中3d全息视频的生成方法和装置
CN114125479B (zh) * 2021-11-05 2023-12-19 游艺星际(北京)科技有限公司 信息处理方法、装置、电子设备和存储介质
CN113822777A (zh) * 2021-11-22 2021-12-21 华中师范大学 一种基于5g云渲染的虚拟教学资源聚合系统及其工作方法
CN114237389B (zh) * 2021-12-06 2022-12-09 华中师范大学 一种基于全息成像的增强教学环境中临场感生成方法
US11532179B1 (en) * 2022-06-03 2022-12-20 Prof Jim Inc. Systems for and methods of creating a library of facial expressions
CN114237540A (zh) * 2021-12-20 2022-03-25 安徽教育出版社 一种智慧课堂在线教学互动方法、装置、存储介质及终端
CN114327060B (zh) * 2021-12-24 2023-01-31 华中师范大学 一种基于ai助手的虚拟教学系统的工作方法
CN114257776B (zh) * 2021-12-27 2023-05-23 上海清鹤科技股份有限公司 教室互动系统
CN114360329B (zh) * 2022-01-12 2023-11-10 四川传媒学院 一种用于艺术教育的交互式多功能演播室
CN114554144B (zh) * 2022-01-18 2024-04-26 南京中医药大学 一种基于嵌入式的网络直播视频流硬件化系统及方法
CN114499699B (zh) * 2022-01-21 2022-12-02 西安电子科技大学 基于真实数字信号特性的实验结果远程呈现系统
CN114283634B (zh) * 2022-01-24 2024-05-24 深圳快学教育发展有限公司 一种基于5g网络环境的虚拟同步课堂教学系统
CN114613211A (zh) * 2022-02-06 2022-06-10 北京泽桥医疗科技股份有限公司 一种适用于医学教学场景的3d医疗模型系统
CN114327081A (zh) * 2022-02-25 2022-04-12 广东工业大学 一种基于互联网思维下的虚拟仿真的环境设计教学形态
CN114743419B (zh) * 2022-03-04 2024-03-29 国育产教融合教育科技(海南)有限公司 一种基于vr的多人虚拟实验教学系统
CN114358988B (zh) * 2022-03-11 2022-06-14 深圳市中文路教育科技有限公司 基于ai技术的教学方式推送方法及装置
CN114582185A (zh) * 2022-03-14 2022-06-03 广州容溢教育科技有限公司 一种基于vr技术的智能教学系统
CN115170773A (zh) * 2022-05-24 2022-10-11 上海锡鼎智能科技有限公司 一种基于元宇宙的虚拟课堂动作交互系统和方法
CN115190289A (zh) * 2022-05-30 2022-10-14 李鹏 3d全息视屏通信方法、云端服务器、存储介质及电子设备
CN115190261B (zh) * 2022-06-29 2024-06-21 广州市锐星信息科技有限公司 一种用于无线录播系统的互动终端
CN115331493A (zh) * 2022-08-08 2022-11-11 深圳市中科网威科技有限公司 一种基于3d全息技术的立体综合教学系统及方法
CN115373762B (zh) * 2022-09-20 2024-04-09 江苏赞奇科技股份有限公司 基于ai的实时云渲染中工具资源动态加载方法
CN115515002A (zh) * 2022-09-22 2022-12-23 深圳市木愚科技有限公司 基于虚拟数字人的智能化慕课生成方法、装置及存储介质
CN115933868B (zh) 2022-10-24 2023-08-04 华中师范大学 翻转讲台的立体综合教学场系统及其工作方法
CN115641648B (zh) * 2022-12-26 2023-08-18 苏州飞蝶虚拟现实科技有限公司 基于视觉对重复动作分析过滤的3d远程互动处理系统
CN115689833B (zh) * 2022-12-29 2023-03-28 成都华栖云科技有限公司 基于多维感知和普适计算的智慧教学空间模式构建方法
CN116107435A (zh) * 2023-04-11 2023-05-12 深圳飞蝶虚拟现实科技有限公司 基于5g云计算的3d远程互动的动作同步系统
CN116433432B (zh) * 2023-04-18 2023-11-21 北京漂洋过海科技有限责任公司 一种大数据的智慧校园管理系统
CN117590929A (zh) * 2023-06-05 2024-02-23 北京虹宇科技有限公司 一种三维场景的环境管理方法、装置、设备及存储介质
CN116630486B (zh) * 2023-07-19 2023-11-07 山东锋士信息技术有限公司 一种基于Unity3D渲染的半自动化动画制作方法
CN116958353B (zh) * 2023-07-27 2024-05-24 深圳优立全息科技有限公司 一种基于动态捕捉的全息投影方法及相关装置
CN116758201B (zh) * 2023-08-16 2024-01-12 淘宝（中国）软件有限公司 三维场景的渲染处理方法、设备、系统及计算机存储介质
CN116862730B (zh) * 2023-09-05 2023-11-21 山东劳动职业技术学院（山东劳动技师学院） 一种vr全息教学管理系统
CN117176775B (zh) * 2023-11-02 2023-12-29 上海银行股份有限公司 一种基于远程服务的银行数据处理方法及系统
CN117215416B (zh) * 2023-11-08 2024-05-07 北京烽火万家科技有限公司 移动终端全息交流方法、装置、计算机设备和存储介质
CN117420868B (zh) * 2023-12-18 2024-04-09 山东海智星智能科技有限公司 基于物联网的智慧教室控制系统及方法
CN117575864B (zh) * 2024-01-16 2024-04-30 山东诚海电子科技有限公司 一种基于智慧校园的设施管理方法、设备及介质
CN118038722B (zh) * 2024-04-11 2024-06-25 南京南工智华智能技术有限公司 基于虚拟现实的课堂实景再现交互式教学系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
CN204965778U (zh) * 2015-09-18 2016-01-13 华中师范大学 一种基于虚拟现实与视觉定位的幼儿教学系统
CN109615961A (zh) * 2019-01-31 2019-04-12 华中师范大学 一种课堂教学师生互动网络系统与方法
CN210091423U (zh) * 2019-12-30 2020-02-18 杭州赛鲁班网络科技有限公司 一种基于全息投影的远程教学互动系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JP2003202799A (ja) * 2002-01-09 2003-07-18 Kyoiku Kikaku:Kk 通信ネットワークを利用した学習システム
US10360808B2 (en) * 2013-08-30 2019-07-23 Amrita Vishwa Vidyapeetham System and method for synthesizing and preserving consistent relative neighborhood position in multi-perspective multi-point tele-immersive environments
WO2016164342A1 (en) * 2015-04-06 2016-10-13 Scope Technologies Us Inc. Methods and apparatus for augmented reality applications
EP3200044A1 (en) * 2016-01-29 2017-08-02 Tata Consultancy Services Limited Virtual reality based interactive learning
WO2018044230A1 (en) * 2016-09-02 2018-03-08 Tan Meng Wee Robotic training apparatus and system
CN109564706B (zh) * 2016-12-01 2023-03-10 英特吉姆股份有限公司 基于智能交互式增强现实的用户交互平台
WO2018187748A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
CN109118854A (zh) * 2017-06-22 2019-01-01 格局商学教育科技（深圳）有限公司 一种全景沉浸式直播互动教学系统
CN109118855A (zh) * 2017-06-22 2019-01-01 格局商学教育科技（深圳）有限公司 一种巨屏全息还原真实场景的网络教学系统
CN107479705B (zh) * 2017-08-14 2020-06-02 中国电子科技集团公司第二十八研究所 一种基于HoloLens的指挥所协同作业电子沙盘系统
US10657266B2 (en) * 2017-09-14 2020-05-19 International Business Machines Corporation Methods and systems for rendering holographic content in a first or second mode based on security clearance
CN107680165B (zh) 2017-09-25 2021-01-26 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN108172045A (zh) * 2018-03-02 2018-06-15 安徽时间分享信息科技有限公司 一种基于ar的远程教育视频通讯设备及系统
US10715713B2 (en) * 2018-04-30 2020-07-14 Breakthrough Performancetech, Llc Interactive application adapted for use by multiple users via a distributed computer-based system
CN110478892A (zh) 2018-05-14 2019-11-22 彼乐智慧科技（北京）有限公司 一种三维交互的方法及系统
US10928775B2 (en) * 2018-07-17 2021-02-23 International Business Machines Corporation 3D holographic display and holographic object formation
CN109035932A (zh) * 2018-08-21 2018-12-18 合肥创旗信息科技有限公司 一种vr全息教学系统
CN109035915A (zh) 2018-08-21 2018-12-18 合肥创旗信息科技有限公司 一种vr全息教学管理系统
CN109035887B (zh) * 2018-08-23 2020-11-03 重庆贝锦科技有限公司 基于5g网络进行传输与控制的全息投影教学装置
WO2020068132A1 (en) * 2018-09-28 2020-04-02 Yang Shao Wen Interactive environments using visual computing and immersive reality
US10928773B2 (en) * 2018-11-01 2021-02-23 International Business Machines Corporation Holographic image replication
CN109598989A (zh) * 2018-12-05 2019-04-09 沈阳惠诚信息技术有限公司 一种基于vr技术的电力通信故障检修虚拟交互系统
CN109800663A (zh) * 2018-12-28 2019-05-24 华中科技大学鄂州工业技术研究院 基于语音和视频特征的教师教学评估方法及设备
CN110013526A (zh) * 2019-05-13 2019-07-16 长沙市索菲亚创客健康管理有限公司 一种改善睡眠的按摩精油及其使用方法
KR102217783B1 (ko) * 2019-11-05 2021-02-19 한양대학교 산학협력단 학습자-교수자간 상호작용 극대화를 위한 5g 텔레프레즌스 기반 hy-live(하이-라이브) 교육 시스템
CN110971678B (zh) * 2019-11-21 2022-08-12 深圳职业技术学院 一种基于5g网络的沉浸式可视化校园系统
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海（上海）智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法
CN110956863A (zh) * 2020-02-22 2020-04-03 上海墩庐生物医学科技有限公司 一种利用3d全息投影进行戏曲互动教学的方法
CN111372282B (zh) * 2020-03-05 2023-04-07 中国联合网络通信集团有限公司 基于5g技术的智慧校园系统
CN111352243A (zh) * 2020-03-31 2020-06-30 北京塞傲时代信息技术有限公司 一种基于5g网络的ar远程渲染系统及方法
CN111627271A (zh) * 2020-04-10 2020-09-04 北京文香信息技术有限公司 一种同步课堂系统及其管理平台
CN111862711A (zh) * 2020-06-19 2020-10-30 广州光建通信技术有限公司 一种基于5g物联虚拟现实娱乐休闲学习装置
CN112562433B (zh) * 2020-12-30 2021-09-07 华中师范大学 一种基于全息终端的5g强互动远程专递教学系统的工作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
CN204965778U (zh) * 2015-09-18 2016-01-13 华中师范大学 一种基于虚拟现实与视觉定位的幼儿教学系统
CN109615961A (zh) * 2019-01-31 2019-04-12 华中师范大学 一种课堂教学师生互动网络系统与方法
CN210091423U (zh) * 2019-12-30 2020-02-18 杭州赛鲁班网络科技有限公司 一种基于全息投影的远程教学互动系统

Also Published As

Publication number Publication date
US20210225186A1 (en) 2021-07-22
CN112562433A (zh) 2021-03-26
WO2022142818A1 (zh) 2022-07-07
US11151890B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN112562433B (zh) 一种基于全息终端的5g强互动远程专递教学系统的工作方法
CN113593351B (zh) 一种立体综合教学场系统的工作方法
KR101768980B1 (ko) 가상 동영상 통화 방법 및 단말
CN110557625A (zh) 虚拟形象直播方法、终端、计算机设备及存储介质
CN106792246A (zh) 一种融合式虚拟场景互动的方法及系统
CN105052154A (zh) 生成具有多个视点的视频
WO2023011221A1 (zh) 混合变形值的输出方法及存储介质、电子装置
CN110809173B (zh) 基于智能手机ar增强现实的虚拟直播方法及系统
CN112492231B (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
CN104683781B (zh) 视频播放处理方法及装置
US10224073B2 (en) Auto-directing media construction
WO2024001661A1 (zh) 视频合成方法、装置、设备和存储介质
CN112738495A (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
CN109032339A (zh) 一种实时智能体感同步的方法及系统
KR20210081082A (ko) 객체의 모션 데이터 기반의 아바타 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
CN113395569B (zh) 视频生成方法及装置
CN110433491A (zh) 虚拟观众的动作同步响应方法、系统、装置和存储介质
CN113784059A (zh) 用于服装生产的视频生成与拼接方法、设备及存储介质
CN108320331B (zh) 一种生成用户场景的增强现实视频信息的方法与设备
Sun et al. Video Conference System in Mixed Reality Using a Hololens
WO2024027063A1 (zh) 直播方法、装置、存储介质、电子设备及产品
CN116016837A (zh) 一种沉浸式虚拟网络会议方法和装置
CN116301322A (zh) 输出方法及电子设备
CN114079777B (zh) 视频处理方法和装置
CN116962746A (zh) 基于连麦直播的线上合唱方法、装置及线上合唱系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant