CN112230772B - 一种虚实融合的教具自动生成方法 - Google Patents

一种虚实融合的教具自动生成方法 Download PDF

Info

Publication number
CN112230772B
CN112230772B CN202011099567.0A CN202011099567A CN112230772B CN 112230772 B CN112230772 B CN 112230772B CN 202011099567 A CN202011099567 A CN 202011099567A CN 112230772 B CN112230772 B CN 112230772B
Authority
CN
China
Prior art keywords
teaching aid
virtual
teaching
teacher
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011099567.0A
Other languages
English (en)
Other versions
CN112230772A (zh
Inventor
吴砥
钟正
徐建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202011099567.0A priority Critical patent/CN112230772B/zh
Publication of CN112230772A publication Critical patent/CN112230772A/zh
Application granted granted Critical
Publication of CN112230772B publication Critical patent/CN112230772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于混合现实技术的教学应用领域，提供一种虚实融合的教具自动生成方法，包括：(1)真实教学环境的信息获取；(2)虚拟教具的生成；(3)虚拟教具与真实环境的融合。本发明虚实融合的教具自动生成方法，围绕新一代智能教学环境的需求，提出了一个真实环境信息采集、虚拟教具生成以及与真实环境融合的方案，根据增强教学场景中教学需求，建立一套从教学环境3D实时地图、教师交互行为与语音命令的采集方法；根据机器语言，自动生成虚拟教具模型及其部件的层次关系；动态渲染虚拟教具模型及其标注信息，实现与真实教学环境的融合。

Description

一种虚实融合的教具自动生成方法
技术领域
本发明属于混合现实(Mixed Reality，MR)技术的教学应用领域，更具体地，涉及一种虚实融合的教具自动生成方法。
背景技术
5G、VR/AR/MR、全息投影等技术正深刻改变传统的教学环境，构建虚实一体、线上线下混合的新一代教学环境已成为人工智能时代对未来教育模式探讨的新使命。教学过程中，虚拟教具可将抽象知识转变成具体化、形象化内容，降低学生掌握复杂、抽象概念的困难，提高观察、实践和科学思维能力。基于MR技术构建的混合增强学习环境，通过多网传播、全息投影等技术，可在虚拟教具、真实教师及其所处真实环境之间构建一个交互反馈的信息回路。其情境性、交互性和融合性的特征，可打破在线课堂师生分割屏幕两端的局限，避免学习者产生孤独感和倦怠感。教师通过人机界面及语音交互方式生成虚实融合的教具，借助空间定位和追踪机制，实现头部、眼动、手势、手柄、按钮等多模态自然交互，达成真实环境中教师与虚拟教具模型的虚实互动。虚实融合的教具在新一代智能教学环境中将会发挥重大作用，拥有广阔的应用前景。
但目前虚拟教具生成方面还存在诸多问题：(1)表现形式更加复杂，相比于课本图片、黑板手绘图形、实物等传统教具，三维交互式模型或全景视频呈现方式更加复杂；(2)生成方式不够智能，通过3D建模、全景拍摄方式创建虚拟教具模型，限制老师在教学中大规模、常态化的使用；(3)交互方式不够自然，传统的鼠标、键盘的交互方式加剧情境化教学场景营造的困难，已不符合多模态交互式教学资源的使用需求。这些缺陷限制虚拟教具在常态化教学中的应用。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种虚实融合的教具自动生成方法，为混合增强教学场景中虚拟教具的生成提供一种新的、快速构建的途径和方式。
本发明的目的是通过以下技术措施实现的。
一种虚实融合的教具自动生成方法，包括以下步骤：
(1)真实教学环境的信息获取：采用SLAM系统实时构建教学环境的即时地图，通过注视目标跟踪系统，获取头部视线焦点注视目标区域，采集教师的语音命令，运用智能语音识别技术将虚拟教具生成命令由语音转换成文本信息。
(2)虚拟教具的生成：应用TF-IDF关键词抽取算法与HMM隐马尔科夫模型，将虚拟教具生成命令文本转换为结构化、机器可读的语言，根据虚拟教具模型的特征，选择相应的参数化和定制化生成方案，重建虚拟教具各部件之间的层次关系，并为它们添加相应的光照、材质纹理、阴影、特效或者动画显示效果。
(3)虚拟教具与真实环境的融合。确定虚拟教具在真实教学环境的成像位置，设置光照模型，完成与真实环境的遮挡处理；为虚拟教具添加标注信息，动态展示虚拟教具模型及其所蕴含知识点、更新渲染参数；跟踪、捕捉教师身体躯干、手势等位置和动作，获取视听触觉等多种交互输入信息。
本发明的有益效果在于：应用SLAM系统构建真实教学环境的即时地图，实时感知教师在教学环境的视线焦点注视区域，识别教师发出的教具生成命令并将它转换为文本信息；使用词汇语法树将文本转换为结构化、机器可读的命令，实现虚拟教具模型的自动重建；通过全息投影技术实现虚拟教具模型与真实教学环境的融合，可实现动态交互、实时展示相关知识点。随着5G商业化规模的快速推进，高带宽与低时延的能力为云化MR教学资源带来更大可能，本发明将有助于增强教育场景中大规模虚拟教具的应用和推广。
附图说明
图1是本发明实施例中虚实融合的教具自动生成方法流程图。
图2是本发明实施例中教学空间特征点提取示意图。
图3是本发明实施例中教师图像前、后景分离示意图。
图4是本发明实施例中教师人体关键点示意图，其中1为头部，2为颈部，3为肩部中心，4为右肩，5为右肘，6为右腕，7为右手，8为右拇指，9为左肩，10为左肘，11为左腕，12为左手，13为左拇指，14为脊柱，15为髋部中心，16为左髋，17为右髋，8为左膝，19为右膝，20为左踝，21为右踝，22为左脚，23为右脚。
图5是本发明实施例中视线场景示意图。
图6是本发明实施例中依存句法分析树状结构示意图，其中1表示核心关系，2表示动补结构，3表示动宾关系，4表示定中关系，5表示主谓关系，6表示状中结构，7表示主谓关系，8表示动宾关系。
图7是本发明实施例中等高线模型山体示意图，其中1表示0米，2表示100米，3表示200米，4表示300米，5表示400米，6表示500米。
图8是本发明实施例中虚拟教具部件拆分关系示意图，其中1为太阳，2为地球，3为运动轨迹，4为立春，5为雨水，6为惊蛰，7为春分，8为清明，9为谷雨，10为立夏，11为小满，12为芒种，13为夏至，14为小暑，15为大暑，16为立秋，17为处暑，18为白露，19为秋分，20为寒露，21为霜降，22为立冬，23为小雪，24为大雪，25为冬至，26为小寒，27为大寒。
图9是本发明实施例中虚拟教具部件层次关联示意图，其中1为太阳，2为地球，3为运动轨迹，4为立春，5为雨水，6为惊蛰，7为春分，8为清明，9为谷雨，10为立夏，11为小满，12为芒种，13为夏至，14为小暑，15为大暑，16为立秋，17为处暑，18为白露，19为秋分，20为寒露，21为霜降，22为立冬，23为小雪，24为大雪，25为冬至，26为小寒，27为大寒。
图10是本发明实施例中虚实对象之间遮挡处理示意图。
图11是本发明实施例中标注信息添加示意图。
图12是本发明实施例中相机6方向自由度示意图。
图13是本发明实施例中教具模型交互示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例一种虚实融合的教具自动生成方法，包括如下步骤：
(1)真实教学环境的信息获取：采用SLAM系统实时构建教学环境的即时地图，通过注视目标跟踪系统，获取头部视线焦点注视目标区域，采集教师的语音命令，运用智能语音识别技术将虚拟教具生成命令由语音转换成文本信息。
所述真实教学环境的信息获取具体包括如下步骤：
(1-1)真实教学环境中信息采集。使用深度摄像机检测、定位真实教学环境中教师的位置和姿态，实时采集和构建教学环境及其对象的几何精确地图；运用图像处理、特征提取、模式识别、模式匹配等技术提取视频序列中的教师信息，实现前后景分离；重建真实教学空间三维场景，获取教师在真实教学空间的位置和，判别与其它对象的位置关系。
(1-1-1)教学空间即时地图构建。采用ORB-SLAM2系统提取教学空间中的ORB(快速特征点)特征，如图2，并与关键帧匹配；运用TOF(时差法)方法获取教学空间的深度信息，通过特征点匹配结果，使用局部集束调整方法优化最小重投影误差，重建教学教室环境及其中的教师、黑板、讲台等对象的三维模型；使用Pi＝(xi,yi,zi)表示空间点的坐标，对应的像素坐标为Ui＝(ui,vi)，内参矩阵为K，点深度为si，摄像头的姿态使用变换矩阵的李代数ξ表示，则最小重投影误差：
Figure BDA0002724930570000061
通过不断优化闭环探测与闭环校正，并结合陀螺仪、加速度计传感器检测状态变化，准确、稳定地采集与构建教学环境及其对象的即时地图。
(1-1-2)提取教师图像。使用canny边缘检测算法提取深度图像中的教师的轮廓信息，采用Lazy Snapping图像分割算法实现前、后景的分离，如图3所示。
(1-1-3)教学空间中教师定位。应用图像处理、视频追踪技术，克服光照、阴影、遮挡和运动的影响，通过重建摄像机位置，获取教师、黑板、讲台等对象在真实教学空间的位置和姿态,判断教师与其它对象的位置关系。
(1-2)教师教学行为识别与追踪。使用人体关键点识别技术追踪不同教学场景中教师身体关键特征点；经手势定位、分割和分析处理视频序列中丰富的教师手部动作，归纳和识别手势动作所对应的教学行为；使用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，获取头部视线焦点注视目标区域。
(1-2-1)教师人体识别和感知。采用多组预先标注的身体部位图像，包括头顶、脖颈、四肢等23个部位点，来训练决策树分类器；跟踪真实教学空间图像并提取其中的特征信息，其可表示为：
Figure BDA0002724930570000062
其中，x为像素值，θ＝(u,v)为图像中的偏移量参数，dI(x)是像素值在图像I中的深度值。
使用决策树分类器判断特征信息对应的人体部位关节节点的相对位置，并把它作为人体关键点，提取真实教学空间中教师身体主要关键点，效果如图4表示。
(1-2-2)教师手势识别和感知。针对教学过程中教师丰富的手势动作，如教师双手以模型为中心分别向两边平移代表放大模型，捕捉视频图像序列中手势骨骼特征，经手势定位、分割和分析处理后，与样本库中的手势匹配，完成手势识别，分析对应的教学行为，辅助后续与虚拟教具的交互。
(1-2-3)头部与视线追踪和识别。通过构建摄像机和桌面遥测式眼动仪结合的注视目标跟踪系统，建立级联残差回归树对齐教师脸部，按照顺序标记面部特征点；实时捕捉教师头部的三维姿态角并综合二维投影特征点，确定头部姿态欧拉角；并将其与眼动检测的坐标系进行合成和转换，从而实现头、眼结合的注视目标跟踪。实现过程如下：
首先，建立以摄像机为原点的头部坐标系，通过摄像头捕捉教师头部姿态旋转的四元数，构建运动方向模型；然后，综合头部姿态确定教师的视线范围(图5(a)中四边形ABCD)，如图5(b)所示，教师到其视场的距离为d，视线范围的水平角记为α和竖直角记为β，视场的最大长H和宽W(如图5(c))可通过计算得到：
Figure BDA0002724930570000071
Figure BDA0002724930570000072
(1-3)教具生成命令采集。利用麦克风阵列，采集其发出的语音命令；将教具生成命令的常用意图设置为高频前缀唤醒词，运用语音唤醒技术，采用VAD(语音端点检测)算法将语音流中教师命令的特定片段截取、量化和编码；采用智能语音识别技术，将教师发出的命令语音转换成文本信息。
(1-3-1)教师语音信息采集。在教学环境教师身前布设麦克风阵列，采样率、采样精度分别设为16kHz、16bit的规格，采集教师语音信息，编码使用PCM格式，确保教师语音信号高保真；针对授课过程中存在的各种噪声干扰，采用谱减法降低原始语音中的噪声。纯净语音估计值S(ω)可表示为：
Figure BDA0002724930570000081
其中，X(ω)、Y(ω)分别是含噪声的语音信号和噪声信号傅立叶变换形式。
(1-3-2)教具生成唤醒功能设置。使用“小文同学”作为高频前缀唤醒词，使教师自然、快速唤醒教具生成功能，譬如，老师发出语音CY1：“小文同学，展示一下地球绕太阳公转产生的二十四节气”，当语音中出现唤醒词汇“小文同学”，开始记录、识别音频信息；将该语音唤醒功能集成到语音协处理器上，在低功耗运行模式下实时监测教师的语言信息。
(1-3-3)教具生成命令的监听。当检测到教师授课语音中唤醒词，采用基于熵的VAD算法，其熵值定义为：
Figure BDA0002724930570000082
其中，Pi是频谱概率密度函数。
根据语音信号熵值的概率分布和大小，将CY1中唤醒词汇“小文同学”后的音频片段截取为CY2:“展示一下地球绕太阳公转产生的二十四节气”；再采用智能语音识别技术，将音频片段CY2转化为虚拟教具生成命令的文本信息CY3。
(2)虚拟教具的生成：应用TF-IDF关键词抽取算法与HMM隐马尔科夫模型，将虚拟教具生成命令文本转换为结构化、机器可读的语言，根据虚拟教具模型的特征，选择相应的参数化和定制化生成方案，重建虚拟教具各部件之间的层次关系，并为它们添加相应的光照、材质纹理、阴影、特效或者动画显示效果。
(2-1)解析教具生成命令。构建一套面向不同学科的教具生成命令库；应用TF-IDF关键词抽取算法提取文本信息中相应命令；结合HMM隐马尔科夫模型对词汇赋予词性，使用依存树结构来表示句法信息；经过特征提取、模式匹配，完成教具生成命令由语音、文字转换成结构化、机器可读的语言。
(2-1-1)教具生成命令库构建。根据中小学各学科对教具的使用需求，构建一套面向不同学科的教具生成命令库，命令模型由语义和句法严格定义，如：
{
浓硫酸|蔗糖|显示|法老王之蛇|实验。
分子热运动|展示|气体|扩散现象。
展示|汽油机|做功|能量|转换。
创建|并联|电路|电灯泡|亮。
生成|二十四节气|模型。
创建|带|经纬度线|地球。
…
}
(2-1-2)语义序列提取。结合命令语料库计算语音文本的词频、逆文档频率，两者分别表示为：
Figure BDA0002724930570000091
Figure BDA0002724930570000092
其中count(w)为关键词w出现的次数，count(Str)语音文字的长度，N表示语料库中文档的总数，I(w)表示包含关键词w的文档数目。
应用TF-IDF关键词抽取算法提取CY3中相应命令，TF-IDF关键词抽取算法可表示为：
TF_IDFw，Str＝TFw，Str·IDFw
结合停用词库剔除常用语句中无意义的词语如：(的、是、吧、这样、模型等)，实现语义序列的提取，从CY3中提取CY4(展示|一下|地球|太阳|绕|公转|产生|二十四节气)。
(2-1-3)词性关联。采用HMM隐马尔科夫模型和Viterbi算法标注词性，如CY4经过标注后，词性分别为(动词，语气词，名词，名词，动词，动词，动词，名词)；再根据词汇间的并列、从属依存关系，运用如图6所示的依存句法分析树结构，标注虚拟教具生成命令的主谓、动宾、定状等句法信息的关系。
(2-1-4)命令生成。从句法树状结构中抽取教师的意图、命令信息和特征值，如“展示”“公转”“二十四节气”等重要词汇，依次匹配教具生成命令库中相应命令、参数，实现教具生成命令从语音、文字转换成结构化、机器可读的语言。
(2-2)虚拟教具模型生成。针对中小学各学科的教具要求及特征，形成参数化和定制化的两类虚拟教具模型生成方案；运用和、差、并、交的组合方式构建虚拟教具的几何模型，创建不同尺寸、外观和行为的虚拟教具模型生成算法；使用3D建模软件构建特定虚拟教具模型，导入到虚拟教具模型库中。
(2-2-1)虚拟教具模型的分类。针对中小学不同年级、不同学科的教具要求及特征，按照参数化和定制化生成方法，归纳不同的教具模型的类别、参数等特征，如物理的电场、化学的浓硫酸模型、地理的地球公转模型等，形成不同的虚拟教具模块化生成方案。
(2-2-2)参数化虚拟教具模型生成。针对可通过算法模拟的教具模型，如扩散现象的分子、二十四节气、地球运动等模型，使用点、线、面、体等基本元素，按照和、差、并、交的组合方式构建虚拟教具生成模块；基于教具的性质、几何、外观等参数，通过程序内部处理机制，创建不同尺寸、外观和行为的虚拟教具模型。
(2-2-3)定制化模型生成。针对复杂或特定模型，如初中地理的等高线模型山体，可预先在3D建模软件(如3D Max或Maya)创建山体、山脊、山谷、等高线等基本形状，再合并多边形网格，为其映射纹理、关联动画，如图7所示，并保存为通用模型格式，最后将其导入虚拟教具模型库中，完成特殊的虚拟教具模型的构建。
(2-3)添加教具展示效果。为配合虚拟教具的展现形式，按照分解或者拼接的步骤将虚拟教具拆分成多个部件；依据其形态和结构的连接顺序，重建各部件之间的父、子层次关系；通过绑定不同的Shader，为虚拟教具部件添加相应的光照、材质纹理、阴影、特效或者动画显示效果。
(2-3-1)教具部件的拆分。为配合虚拟教具的展现形式，按照分解或者拼接的步骤，如教具模型的空间位置、逻辑关系等，由下向上、由内向外等顺序将虚拟教具拆分成多个功能各异的部件，为每个部件添加ID、属性、层次等信息，图8展示地球绕太阳公转产生的二十四节气案例的拆分关系，地球绕太阳运动，将太阳作为地球和运动轨迹的父节点，运动轨迹上包含了立春、雨水、惊蛰等基于时间顺序的二十四节气的子节点。
(2-3-2)教具部件层次关联。按照其形态和结构的连接顺序，重建各部件之间的父、子层次关系；依照部件ID动态调度虚拟教具模型部件，基于时间轴和空间域的层次顺序实现从顶到底或者从底到顶逐层、逐段地动态显示各个部件，如图9所示，按照节气在时间域上的出现顺序和在运动轨迹中空间位置依次动态显示二十四节气的位置点。
(2-3-3)显示效果的设置。为配合虚拟教具光学成像和动态展示要求，通过为某些部件绑定不同的Shader(着色器)，如在地球公转中为太阳添加点光源、为地球表面模型绑定具有阴影纹理的Shader，并设置不同的自转与公转速度，从而呈现地球自转、公转及其阴影效果。
(3)虚拟教具与真实环境的融合。确定虚拟教具在真实教学环境的成像位置，设置光照模型，完成与真实环境的遮挡处理；为虚拟教具添加标注信息，动态展示虚拟教具模型及其所蕴含知识点、更新渲染参数；跟踪、捕捉教师身体躯干、手势等位置和动作，获取视听触觉等多种交互输入信息。
(3-1)虚实叠加。根据教学环境的即时地图与教师头部视线焦点注视目标区域，确定虚拟教具在真实教学环境的成像位置；采集真实教学场景中的光照强度分布，设置不同的高光和阴影显示区域，解决模糊、漂浮等显示情形；为虚拟教具添加透明遮罩，完成与真实环境中黑板、讲台、教师等遮挡情况处理。
(3-1-1)确定虚拟教具的成像参数。根据感知真实教学环境范围大小、教师的位置、姿态和深度，结合教师头部视线焦点注视目标区域范围，确定虚拟教具在真实教学环境中的成像位置、姿态、朝向和缩放比例。
(3-1-2)设置光照模型。针对真实教学环境中不同光照条件，易导致虚拟教具模型出现模糊、漂浮等情形，采用球谐光照方法确定球谐基方向上光照强度的大小，即第i方向上球谐基Yi对应的球谐系数Ci，采集真实教学场景中的环境光照，球谐系数Ci可表示为：
Figure BDA0002724930570000121
其中，N表示总采样数，xj表示采样点，L(xj)是点xj位置的环境光照强度，Yi(xj)表示点xj在i方向上的球谐基。
使用球谐系数Ci渲染虚拟教具模型，还原该点的光照亮度值为：
Figure BDA0002724930570000131
其中，s表示某像素点，n是球谐函数的阶数，n2是谐基方向的个数。
根据真实教学场景中的光照强度分布，设置虚拟教具不同的光照模型，并采用阴影体法显示阴影区域，促使虚拟教具和真实场景的有效融合。
(3-1-3)虚实对象之间的遮挡处理。为合理呈现虚拟教具与真实环境中黑板、讲台、教师等对象的相对关系，通过对齐摄像机画面和深度贴图，计算像素坐标R(ru，rv)到对应相机图像坐标(rxc，ryc，rzc)，转换公式如下：
Figure BDA0002724930570000132
其中，fx，fy指相机在x，y轴上的焦距，cx和cy指摄相机的光圈中心，K可表示为相机的内参矩阵。
计算虚拟教具空间坐标所对应的相机坐标，再比较z值确定前后关系，并为虚拟教具添加隐藏的透明遮罩，完成遮挡处理；图10展示了黑板、讲台、教师等对象与虚拟教具的遮挡处理效果。
(3-2)虚拟教具的显示设置。考虑到教学内容对教具的要求，为虚拟教具添加文本、符号、语音等标注信息；针对特定展示区域，采用相近、渐变、突变或高亮方式显示虚拟教具各部件的表面轮廓；支持教师通过体感、手势、语音等方式实现虚拟教具的操纵和效果设置，全方位、多层次的动态展示虚拟教具模型及其所蕴含知识点。
(3-2-1)注记元素添加。为便于学生理解虚拟教具的功能和成分，通过为虚拟教具模型添加文本、符号、语音等标注信息，展示各部件特有的知识点内容，如图11展示地球公转到冬至节气的标注信息，引导学生快速理解虚拟教具的功能、变化或运动规律。
(3-2-2)局部突显设置。针对教学内容对虚拟教具模型的依赖性，教师可以重点讲解知识点中某个模型或部件，如地球公转过程中冬至节气时太阳光的直射方向，可运用相近、渐变、突变或高亮方式显示虚拟教具对应部件的轮廓表面，通过优化先后顺序和视觉关系，在真实教学环境中合理有序、主次分明地呈现该效果，强调虚拟教具与知识点对应的关系。
(3-2-3)虚拟教具模型动态展示。依据教学内容的要求和教学的递进关系，支持教师通过体感、手势、语音等方式表达展示意图，实现虚拟教具模型的平移、旋转、拉伸等操作，或者注记元素添加、局部突显等设置，实现多角度、多层次与全方位的虚拟教具模型及其所蕴含知识点的动态展示。
(3-3)虚实模型实时交互。实时追踪教师头部视线焦点注视目标区域范围的变化，动态更新目标区域范围中虚拟教具的位置、姿态、大小等渲染参数；跟踪、捕捉真实教学环境中教师身体躯干、手势等位置和动作，获取视听触觉等多种交互输入信息；针对教学内容的时、空特征，设置不同信息输入通道的权重。
(3-3-1)虚拟教具的同步渲染。应用SLAM技术构建真实教学环境的即时地图，实时追踪教师头部视线焦点注视目标区域范围的变化，采用6方向自由度(6DoF)的即时定位技术，跟踪相机X、Y、Z三轴六方向自由度的旋转、平移，如图12，动态更新目标区域范围中虚拟教具的位置、姿态、大小等渲染参数。
(3-3-2)虚拟教具的实时交互。分别运用人体关键点识别技术、手势识别技术跟踪、捕捉真实教学环境中教师身体躯干、手势等位置和动作，结合教师的视听触觉等多种交互输入信息，分析对应的教学行为，如教师移动身体躯干触发虚拟教具模型的即时跟随、通过手势或语音实现虚拟教具的旋转、拉伸和移动等交互操作，实现教师与真实环境中虚拟教具的互动与反馈。
(3-3-3)多模态虚实交互融合。针对教学内容中包含的时间、空间任务特征，整合教师与虚拟教具的交互方式，设置头部、视线、语音、体感、手势等不同信息输入通道的权重；以地球绕太阳公转为例，通过手势选择地球模型，经过头部与视线追踪和识别确认虚拟地球模型，采用手势操作拉伸放大、旋转地球模型，观察不同节气光照、太阳直射点等信息，如图13所示；虚实交互多模态协作融合可更加自然、有效地捕捉教师意图。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (1)

1.一种虚实融合的教具自动生成方法，其特征在于该生成方法包括以下步骤：
(1)真实教学环境的信息获取：采用SLAM系统实时构建教学环境的即时地图，通过注视目标跟踪系统，获取头部视线焦点注视目标区域，采集教师的语音命令，运用智能语音识别技术将虚拟教具生成命令由语音转换成文本信息；
具体包括如下步骤：
(1-1)真实教学环境中信息采集；采用SLAM系统采集教学环境、教师的三维坐标和深度信息，实时构建教学环境及其对象的即时地图；运用图像处理、特征提取、模式识别、模式匹配技术提取视频序列中的教师信息，实现前后景分离；重建教学空间中教师三维模型，获取其位置和姿态，判别与其它对象的位置关系；
(1-1-1)教学空间即时地图构建；采用ORB-SLAM2系统采集真实教学环境中教师、黑板、讲台对象的三维坐标和深度信息，根据特征点匹配结果重建真实教学环境，运用陀螺仪、加速度计传感器检测状态变化，实时构建教学环境及其对象的即时地图；
(1-1-2)提取教师图像；针对深度摄像机采集的视频图像，运用图像处理、边缘检测、特征识别、模式匹配技术处理每帧图像，综合分隔策略，从视频序列中提取教学空间中的教师信息，实现前、后景的分离；
(1-1-3)教学空间中教师定位；基于深度图像重建教学空间中教师的三维模型，应用图像处理、视频追踪技术，克服光照、阴影、遮挡和运动的影响，获取教师在真实教学空间的位置和姿态，判别与其它对象的位置关系；
(1-2)教师教学行为识别与追踪；使用人体关键点识别技术追踪不同教学场景中教师身体关键特征点；经手势定位、分割和分析处理视频序列中丰富的教师手部动作，归纳和识别手势动作所对应的教学行为；使用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，获取头部视线焦点注视目标区域；
(1-2-1)教师人体识别和感知；使用人体关键点识别技术，提取遮挡、光照、阴影、运动条件下教师正面、背面、侧面的主要人体关键点，包括头部、颈部、肩部中心、右肩、右肘、右腕、右手、右拇指、左肩、左肘、左腕、左手、左拇指、脊柱、髋部中心、左髋、右髋、左膝、右膝、左踝、右踝、左脚、右脚，感知不同教学场景中身体关键特征点的分布；
(1-2-2)教师手势识别和感知；针对教学过程中教师丰富的手势动作，捕捉视频序列中手势骨骼特征，经手势定位、手势分割和手势分析处理后，完成手势识别，分析对应的教学行为，辅助后续与虚拟教具的交互；
(1-2-3)头部与视线追踪和识别；使用摄像机和桌面遥测式眼动仪构建注视目标跟踪系统，采用回归树的人脸对齐算法检测视频序列中教师人脸关键点，运用头部姿态估计技术，实时获取教师头部的空间姿态，将其与眼动检测的坐标系进行合成和转换，跟踪头部视线焦点注视目标区域；
(1-3)教具生成命令采集；利用麦克风阵列，采集其发出的语音命令；将教具生成命令的常用意图设置为高频前缀唤醒词，运用语音唤醒技术，采用语音端点检测算法将语音流中教师命令的特定片段截取、量化和编码；采用智能语音识别技术，将教师发出的命令语音转换成文本信息；
(1-3-1)教师语音信息采集；在教学环境教师身前布设麦克风阵列，采集其语音信息，使用无损脉冲编码调制格式编码，确保教师语音信号高保真；针对授课过程中存在的各种噪声干扰，采用谱减法降低原始语音中的噪声；
(1-3-2)教具生成唤醒功能设置；为缩短教具生成命令的识别响应时间，将教具生成命令中常用意图设为高频前缀唤醒词；并将语音唤醒功能集成到语音协处理器中，在低功耗运行模式下实时监测教师的语言信息；
(1-3-3)教具生成命令的监听；当检测到教师授课语音中唤醒词，使用语音端点检测算法截取、量化和编码教师命令片段；采用智能语音识别技术，将教师发出的教具生成命令语音经特征提取、模式匹配后，转化为文本信息文件；
(2)虚拟教具的生成：应用TF-IDF关键词抽取算法与HMM隐马尔科夫模型，将虚拟教具生成命令文本转换为结构化、机器可读的语言，根据虚拟教具模型的特征，选择相应的参数化和定制化生成方案，重建虚拟教具各部件之间的层次关系，并为它们添加相应的光照、材质纹理、阴影、特效或者动画显示效果；
具体包括如下步骤：
(2-1)解析教具生成命令；构建一套面向不同学科的教具生成命令库；应用TF-IDF关键词抽取算法提取文本信息中相应命令；结合HMM隐马尔科夫模型对词汇赋予词性，使用依存树结构来表示句法信息；经过特征提取、模式匹配，完成教具生成命令由语音、文字转换成结构化、机器可读的语言；
(2-1-1)教具生成命令库构建；提取中小学各学科对教具的使用需求，构建一套面向不同学科的教具生成命令库，命令模型由语义和句法严格定义；
(2-1-2)语义序列提取；结合命令语料库，应用TF-IDF关键词抽取算法提取文本信息中相应命令，并生成具有语义合理性和完整性的命令序列，剔除无意义的词语；
(2-1-3)词性关联；根据词汇在中文中的含义、形态和语法功能，应用HMM隐马尔科夫模型对生成命令序列中各个词汇赋予词性；再根据词汇间的并列、从属依存关系，运用依存句法分析树结构表示主谓、动宾、定状句法信息的关系；
(2-1-4)命令生成；从句法树结构中抽取教师的意图、命令信息和特征值，依次匹配教具生成命令库中相应命令、几何参数、材质纹理、动画特效属性，完成教具生成命令从语音、文字转换成结构化、机器可读的语言；
(2-2)虚拟教具模型生成；针对中小学各学科的教具要求及特征，形成参数化和定制化的两类虚拟教具模型生成方案；运用和、差、并、交的组合方式构建虚拟教具的几何模型，创建不同尺寸、外观和行为的虚拟教具模型生成算法；使用3D建模软件构建特定虚拟教具模型，导入到虚拟教具模型库中；
(2-2-1)虚拟教具模型的分类；针对中小学各学科的教具要求及特征，按照参数化和定制化生成方法，归纳不同的教具模型的类别、参数特征，形成不同的虚拟教具生成方案；
(2-2-2)参数化虚拟教具模型生成；根据点、线、面、体不同教具的类别，结合教具的性质、几何、外观参数，运用和、差、并、交的组合方式构建虚拟教具的几何模型，创建不同尺寸、外观和行为的虚拟教具模型生成算法；
(2-2-3)定制化模型生成；针对复杂或特定模型，预先在3D建模软件中制作相应模型，将其保存为模型通用格式，再将其导入虚拟教具模型库中，完成特殊的虚拟教具模型的构建；
(2-3)添加教具展示效果；为配合虚拟教具的展现形式，按照分解或者拼接的步骤将虚拟教具拆分成多个部件；依据其形态和结构的连接顺序，重建各部件之间的父、子层次关系；通过绑定不同的阴影，为虚拟教具部件添加相应的光照、材质纹理、阴影、特效或者动画显示效果；
(2-3-1)教具部件的拆分；为配合虚拟教具的展现形式，按照分解或者拼接的步骤，将虚拟教具拆分成多个功能各异的部件；拆分原则是各部件之间的功能和显示效果保持自然、光滑过渡效果；
(2-3-2)教具部件层次关联；按照其形态和结构的连接顺序，重建各部件之间的父、子层次关系；依照从顶到底或者从底到顶的层次顺序，逐层、逐段地动态显示各个部件，采用渐变、突变、透明过渡形式；
(2-3-3)显示效果的设置；为配合虚拟教具光学成像和动态展示要求，通过为某些部件绑定不同的阴影，实现相应的光照、材质纹理、阴影、特效或者动画显示，支持教师与虚拟教具模型的丰富互动模式；
(3)虚拟教具与真实环境的融合：确定虚拟教具在真实教学环境的成像位置，设置光照模型，完成与真实环境的遮挡处理；为虚拟教具添加标注信息，动态展示虚拟教具模型及其所蕴含知识点、更新渲染参数；跟踪、捕捉教师身体躯干、手势位置和动作，获取视听触觉多种交互输入信息；
具体包括如下步骤：
(3-1)虚实叠加；根据教学环境的即时地图与教师头部视线焦点注视目标区域，确定虚拟教具在真实教学环境的成像位置；采集真实教学场景中的光照强度分布，设置不同的高光和阴影显示区域，解决模糊、漂浮显示情形；为虚拟教具添加透明遮罩，完成与真实环境中黑板、讲台、教师遮挡情况处理；
(3-1-1)确定虚拟教具的成像参数；根据真实教学环境的即时地图与教师的位置、姿态和深度，结合教师头部视线焦点注视目标区域范围，确定虚拟教具在真实教学环境中的成像位置、姿态、朝向和缩放比例参数；
(3-1-2)设置光照模型；真实教学环境中存在光照不一致的情形，显示时虚拟教具易出现模糊、漂浮情形，采集真实教学环境中光照强度分布，设置不同的高光和阴影显示区域，促使虚拟教具与真实环境的有效融合；
(3-1-3)虚实对象之间的遮挡处理；为合理呈现虚拟教具与真实环境中黑板、讲台、教师对象的相对关系，根据教学环境的即时地图、教师的位置和状态，为虚拟教具添加隐藏的透明遮罩；通过深度检测，完成虚拟教具与真实环境的遮挡处理，提高显示的逼真效果；
(3-2)虚拟教具的显示设置；考虑到教学内容对教具的要求，为虚拟教具添加文本、符号、语音标注信息；针对特定展示区域，采用相近、渐变、突变或高亮方式显示虚拟教具各部件的表面轮廓；支持教师通过体感、手势、语音方式实现虚拟教具的操纵和效果设置，全方位、多层次的动态展示虚拟教具模型及其所蕴含知识点；
(3-2-1)注记元素添加；为便于学生理解虚拟教具的功能和成分，通过为虚拟教具模型添加文本、符号、语音标注信息，展示各部件特有的知识点内容，引导学生快速理解虚拟教具的功能、变化或运动规律；
(3-2-2)局部突显设置；针对教学内容中需要特别强调虚拟教具的某个部件，运用相近、渐变、突变或高亮方式显示虚拟教具对应部件的轮廓表面，通过优化先后顺序和视觉关系，在真实教学环境中合理有序、主次分明地呈现该效果；
(3-2-3)虚拟教具模型动态展示；依据教学内容的要求，支持教师通过体感、手势、语音方式实现虚拟教具模型的平移、旋转、拉伸操作，或者注记元素添加、局部突显设置，实现多角度、多层次与全方位的虚拟教具模型及其所蕴含知识点的动态展示；
(3-3)虚实模型实时交互；实时追踪教师头部视线焦点注视目标区域范围的变化，动态更新目标区域范围中虚拟教具的位置、姿态、大小渲染参数；跟踪、捕捉真实教学环境中教师身体躯干、手势位置和动作，获取视听触觉多种交互输入信息；针对教学内容的时、空特征，设置不同信息输入通道的权重；
(3-3-1)虚拟教具的同步渲染；应用SLAM技术构建真实教学环境的即时地图，实时追踪教师头部视线焦点注视目标区域范围的变化，采用6方向自由度的即时定位技术，动态更新目标区域范围中虚拟教具的位置、姿态、大小渲染参数；
(3-3-2)虚拟教具的实时交互；跟踪、捕捉真实教学环境中教师身体躯干、手势位置和动作，获取教师的视听触觉多种交互输入信息，分析对应的教学行为，实现教师与真实环境中虚拟教具的互动与反馈；
(3-3-3)多模态虚实交互融合；针对教学内容中包含的时间、空间任务特征，整合教师与虚拟教具的交互方式，设置头部、视线、语音、体感、手势不同信息输入通道的权重，自然、有效地捕捉教师意图。
CN202011099567.0A 2020-10-14 2020-10-14 一种虚实融合的教具自动生成方法 Active CN112230772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011099567.0A CN112230772B (zh) 2020-10-14 2020-10-14 一种虚实融合的教具自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011099567.0A CN112230772B (zh) 2020-10-14 2020-10-14 一种虚实融合的教具自动生成方法

Publications (2)

Publication Number Publication Date
CN112230772A CN112230772A (zh) 2021-01-15
CN112230772B true CN112230772B (zh) 2021-05-28

Family

ID=74113007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011099567.0A Active CN112230772B (zh) 2020-10-14 2020-10-14 一种虚实融合的教具自动生成方法

Country Status (1)

Country Link
CN (1) CN112230772B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096252B (zh) 2021-03-05 2021-11-02 华中师范大学 一种混合增强教学场景中多移动机制融合方法
CN113158854B (zh) * 2021-04-08 2022-03-22 东北大学秦皇岛分校 多模态信息融合的自动监测列车安全运行方法
CN113434035B (zh) * 2021-05-19 2022-03-29 华中师范大学 一种vr全景图像素材的教学重用方法
CN113370897A (zh) * 2021-06-28 2021-09-10 北京小鹏汽车有限公司 一种车辆地图显示控制方法和装置
CN113487082B (zh) * 2021-07-06 2022-06-10 华中师范大学 一种虚拟实验教学资源的注记复杂度度量和优化配置方法
CN115909825A (zh) * 2021-08-12 2023-04-04 广州视源电子科技股份有限公司 实现远程教育的系统、方法及教学端
US11410570B1 (en) 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN113593351B (zh) * 2021-09-27 2021-12-17 华中师范大学 一种立体综合教学场系统的工作方法
CN114237389B (zh) * 2021-12-06 2022-12-09 华中师范大学 一种基于全息成像的增强教学环境中临场感生成方法
CN114885147B (zh) * 2022-07-12 2022-10-21 中央广播电视总台 融合制播系统及方法
CN115114537B (zh) * 2022-08-29 2022-11-22 成都航空职业技术学院 一种基于文件内容识别的互动虚拟教具实现方法
CN115830112B (zh) * 2022-11-25 2023-09-22 之江实验室 一种基于手持实物的混合现实交互方法和系统
CN116755566B (zh) * 2023-08-22 2024-01-26 北京东方仿真软件技术有限公司 一种基于混合现实的实践教学辅助系统及操作方法
CN117271809B (zh) * 2023-11-21 2024-02-09 浙江大学 基于任务场景和上下文感知的虚拟代理交流环境生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
CN108628825A (zh) * 2018-04-10 2018-10-09 平安科技（深圳）有限公司 文本信息相似度匹配方法、装置、计算机设备及存储介质
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN109859538A (zh) * 2019-03-28 2019-06-07 中广核工程有限公司 一种基于混合现实的关键设备培训系统及方法
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN111277714A (zh) * 2020-01-17 2020-06-12 Oppo广东移动通信有限公司 连接呼叫方法、装置、存储介质及终端
CN111729283A (zh) * 2020-06-19 2020-10-02 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练系统及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789514B (zh) * 2012-04-20 2014-10-08 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
CN108389249B (zh) * 2018-03-06 2022-07-19 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法
US10816341B2 (en) * 2019-01-25 2020-10-27 Dell Products, L.P. Backchannel encoding for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
CN111724486A (zh) * 2020-06-16 2020-09-29 重庆鑫泺源智能科技有限公司 基于混合现实技术的电力装表接电实训系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序
CN108628825A (zh) * 2018-04-10 2018-10-09 平安科技（深圳）有限公司 文本信息相似度匹配方法、装置、计算机设备及存储介质
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练系统
CN109859538A (zh) * 2019-03-28 2019-06-07 中广核工程有限公司 一种基于混合现实的关键设备培训系统及方法
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN111277714A (zh) * 2020-01-17 2020-06-12 Oppo广东移动通信有限公司 连接呼叫方法、装置、存储介质及终端
CN111729283A (zh) * 2020-06-19 2020-10-02 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人机自然交互支持的3d虚拟教具设计;袁丽等;《系统防真学报》;20120908;第1973-1979页 *

Also Published As

Publication number Publication date
CN112230772A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112230772B (zh) 一种虚实融合的教具自动生成方法
Papastratis et al. Artificial intelligence technologies for sign language
Rastgoo et al. Sign language production: A review
He Research of a sign language translation system based on deep learning
CN113191375B (zh) 一种基于联合嵌入的文本到多对象图像生成方法
CN117055724B (zh) 虚拟教学场景中生成式教学资源系统的工作方法
Jing et al. Recognizing american sign language manual signs from rgb-d videos
CN102930270A (zh) 基于肤色检测与背景消除的手部识别方法及系统
CN106293099A (zh) 手势识别方法及系统
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision
Zhang et al. Teaching chinese sign language with a smartphone
Wang et al. Wuju opera cultural creative products and research on visual image under VR technology
Neverova Deep learning for human motion analysis
Stefanidis et al. 3D technologies and applications in sign language
Rastgoo et al. All you need in sign language production
Liu et al. 4D facial analysis: A survey of datasets, algorithms and applications
CN117333645A (zh) 一种环形全息交互系统及其设备
Xu et al. Innovative research on the visual performance of image two-dimensional animation film based on deep neural network
Pu et al. Adaptive feature abstraction for translating video to language
Miah et al. Multi-stream graph-based deep neural networks for skeleton-based sign language recognition
Alaghband et al. A survey on sign language literature
Cui et al. Virtual human: A comprehensive survey on academic and applications
Khan Sign Language Recognition from a webcam video stream
Papadimitriou et al. Multimodal fusion and sequence learning for cued speech recognition from videos
Kheldoun et al. Algsl89: An algerian sign language dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant