CN117055724A - 虚拟教学场景中生成式教学资源系统及其工作方法 - Google Patents

虚拟教学场景中生成式教学资源系统及其工作方法 Download PDF

Info

Publication number
CN117055724A
CN117055724A CN202310509908.4A CN202310509908A CN117055724A CN 117055724 A CN117055724 A CN 117055724A CN 202310509908 A CN202310509908 A CN 202310509908A CN 117055724 A CN117055724 A CN 117055724A
Authority
CN
China
Prior art keywords
virtual
algorithm
teaching
teacher
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310509908.4A
Other languages
English (en)
Inventor
杨宗凯
钟正
吴砥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202310509908.4A priority Critical patent/CN117055724A/zh
Publication of CN117055724A publication Critical patent/CN117055724A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明属于人工智能的教学应用领域，提供一种虚拟教学场景中生成式教学资源系统及其工作方法。该工作方法包括以下步骤：(1)虚拟教学场景环境生成；(2)学科语料库构建；(3)学生意图理解；(4)教师应答反馈；(5)虚拟教师体态同步；(6)应答结果呈现；(7)应答结果交互。本发明有助于虚拟教学场景中生成式教学资源的实时呈现和交互，实现“物理‑信息‑社交”三元空间下人机场互动的新形态。

Description

虚拟教学场景中生成式教学资源系统及其工作方法
技术领域
本发明属于人工智能的教学应用领域，更具体地，涉及虚拟教学场景中生成式教学资源系统及其工作方法。
背景技术
人工智能通用大模型的快速发展，现有虚拟教学场景虽可利用数字人技术生成逼真的虚拟教师，但尚未给虚拟教师赋予感知、认知的智能能力。因此，在虚拟教学场景中为虚拟教师添加AIGC能力，在学科知识图谱的支持下，采用自然语言处理、深度学习等技术实现学生与虚拟教师的语音问答，并由形象逼真的虚拟教师讲解多样化的应答结果，并配以与内容匹配的表情和动作，可为虚拟教学场景中学习者提供个性化的辅导、支持以及更好的学习体验，在未来教育具有广泛的应用前景。
当前虚拟教学场景中生成式教学资源领域还存在诸多的问题：(1)虚拟教学场景中数字人尚未能接入学科知识图谱：基于通用网站收集的语料库，难以支撑沉浸式教学环境中智能教学；(2)虚拟教师言语、体态和表情的不同步：现有虚拟教学场景中虚拟化身的表情、动作多以预设固定动作为主，无法根据生成式教学资源，准确捕捉情感信息，匹配虚拟化身的表情和肢体动作，降低师生用户的体验感；(3)虚拟教学场景中教学资源呈现形式单一，多是三维演示式、交互式课件或纹理视频形态，缺乏基于互动问答、实时生成内容呈现，难以实现“物理-信息-社交”三元空间下人机场互动的形态。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种虚拟教学场景中生成式教学资源系统及其工作方法，为人工智能融入虚拟教学场景中教学资源生成提供一种新的方法。
本发明的目的是通过以下技术措施实现的。
本发明提供一种虚拟教学场景中生成式教学资源系统，包括以下模块：
所述虚拟教学场景环境生成模块，从虚拟素材库选择背景和对象，创设虚拟教学场景，运用SMPL算法重构光场采集的师生三维模型，在虚拟环境中聚合师生虚拟化身；
所述学科语料库构建模块，基于启发式搜索的爬虫算法采集学科语料，提取命名实体及其关系，运用RDF构建实体-关系-实体的学科知识三元组，采用图结构组织实体和关系；
所述学生意图理解模块，运用深度神经网络模型提取学生提问的的文本序列，采用随机森林分类器获取学生提问的意图；
所述教师应答反馈模块，标记词项的语义角色，采用逻辑和推理规则推导语义角色中隐含信息，计算语义角色和各个实体之间的相似度，提取、生成应答结果；
所述虚拟教师体态同步模块，识别应答文本的情感类别，驱动虚拟教师的面部表情更新，运用单元动作匹配算法实现表情和肢体动作的一致；
所述应答结果呈现模块，将应答视频分割成帧序列，采用像素坐标算法将程序代码和数学公式映射成为图片，使用动态视频纹理对象将应答内容映射到虚拟幕布上；
所述应答结果交互模块，使用LOD算法动态调度视频和模型，使用关键行为检测算法提取师生用户的交互命令，执行组合命令，实现与教学资源的多模态交互。
本发明还提供虚拟教学场景中生成式教学资源系统的工作方法，包括以下步骤：
(1)虚拟教学场景环境生成；从虚拟素材库选择背景和对象，创设虚拟教室、实验室和会议讨论室教学场景；采用OpenPose算法定位光场采集的师生关节点，运用基于SMPL的三维人体重建算法重构师生三维模型；使用WebRTC算法聚合师生虚拟化身，采用5G云渲染算法实现高分辨率渲染画面的输出；
(2)学科语料库构建；使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录；运用LDA主题模型提取学科原理、公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用RDF构建实体-关系-实体的学科知识三元组，运用图结构组织实体和关系；
(3)学生意图理解；使用有线碳棒话筒采集学生提问声音信号，运用模拟-数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用TextRank算法提取关键词，运用随机森林分类器获取学生的意图；
(4)教师应答反馈；使用语义角色标记算法标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小，获取候选实体；分别采用编码器、数学公式解析算法从句子中提取、生成应答结果；
(5)虚拟教师体态同步；依次经过卷积神经网络层、循环神经网络提取情感特征，使用全连接层分类器将其分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配；
(6)应答结果呈现；在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上；
(7)应答结果交互；依据距离用户视线的远近和夹角，采用LOD形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势、常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸、扭曲和旋转操作。
本发明的有益成果在于：从虚拟素材库选择背景和对象，创设虚拟教室、实验室和会议讨论室教学场景；采用OpenPose算法定位光场采集的师生关节点，运用基于SMPL算法重构师生三维模型；使用WebRTC算法聚合师生虚拟化身，采用5G云渲染算法实现高分辨率渲染画面的输出。使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录到语料库中；运用LDA主题模型提取学科原理、公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用RDF构建实体-关系-实体的学科知识三元组，运用图结构组织实体和关系。使用有线碳棒话筒采集学生提问声音信号，运用模拟-数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用TextRank算法提取文本序列中关键词，运用随机森林分类器获取学生的意图。标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小获取候选实体；分别采用编码器、数学公式解析算法从句子中提取、生成应答结果。依次经过卷积神经网络层、循环神经网络叠加处理、提取情感特征，使用全连接层分类器将情感特征分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配。在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上。依据距离用户视线的远近和夹角，采用LOD形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势、常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸、扭曲和旋转操作。
附图说明
图1是本发明实施例虚拟教学场景中生成式教学资源系统架构图。
图2是本发明实施例中师生人体关节点示意图，201-左耳关节点，202-右耳关节点，203-左眼关节点，204-鼻子关节点，205-右眼关节点，206-左肩关节点，207-颈部关节点，208-右肩关节点，209-左肘关节点，210-左腕关节点，211-右肘关节点，212-右腕关节点，213-左髋关节点，214-右髋关节点，215-左膝关节点，216-右膝关节点，217-左脚踝关节点，218-右脚踝关节点。
图3是本发明实施例中声音特征向量提取流程图。
图4是本发明实施例中依存句法树示意图。
图5是本发明实施例中文本情感识别流程图。
图6是本发明实施例中情感动作匹配对的树形结构示意图。
图7是本发明实施例中虚拟教学资源形状变化示意图，701-原始虚拟教学资源，702-拉伸处理后的虚拟教学资源，703-扭曲处理后的虚拟教学资源，704-旋转处理后的虚拟教学资源。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种虚拟教学场景中生成式教学资源系统，包括虚拟教学场景环境生成模块、学科语料库构建模块、学生意图理解模块、教师应答反馈模块、虚拟教师体态同步模块、应答结果呈现模块和应答结果交互模块。
上述虚拟教学场景中生成式教学资源系统的工作方法，包括以下步骤：
(1)虚拟教学场景环境生成。从虚拟素材库选择背景和对象，创设虚拟教室、实验室和会议讨论室教学场景；采用OpenPose算法定位光场采集的师生关节点，运用基于SMPL的三维人体重建算法重构师生三维模型；使用WebRTC算法聚合师生虚拟化身，采用5G云渲染算法实现高分辨率渲染画面的输出。
(1-1)虚拟教学场景创设。根据教学内容和应用场景，从虚拟素材库中选择高山、平原、海洋和宇宙背景，以及教室、黑板、桌椅、教具和学具对象，创设新的虚拟教室、实验室和会议讨论室，使用边界表示方法表示教学场景中对象模型。
(1-2)师生三维模型生成。使用由78个摄像头组成的实时光场采集工作站，从不同侧面拍摄师生全身的图像，采用OpenPose算法定位如图2所示的师生左耳、右耳、左眼、鼻子、右眼、左肩、颈部、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝关节点，运用基于SMPL的三维人体重建算法重构师生三维模型，依据教学场景，采用纹理映射算法定制师生的外貌特征。OpenPose算法定位关节点步骤：
I：使用ResNet神经网络，输入为师生全身图像，输出关键点响应热力图；
II：采用OpenCV类库提取关键点响应热力图的像素矩阵，将元素值定义为xi,j,c，其中i、j、c分别表示像素矩阵的行数、列数和通道数；
III：运用公式1、2分别计算关键点位置坐标和响应得分：
其中，w为卷积核权重，C为通道数。
Ⅳ：判断每个关键点的响应得分，如公式3所示：
其中，K为最终保留关键点集合，threshold为响应分数阈值；
Ⅴ：连接保留关键点，定位师生左耳、右耳、左眼、鼻子、右眼、左肩、颈部、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝关节点。
(1-3)虚拟环境构建。基于“云-边-端”架构，采用WbeRTC算法将参与同一课程的师生虚拟化身聚合到共同教学空间中，依据SFTP传输协议，将虚拟教学场景和同一空间中师生虚拟化身上传到云服务器，使用5G云渲染算法实现高分辨率渲染画面的输出，经5G链路发送到各用户的显示终端。
(2)学科语料库构建。使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录；运用LDA主题模型提取学科原理、公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用RDF构建实体-关系-实体的学科知识三元组，运用图结构组织实体和关系。
(2-1)语料采集。使用基于启发式搜索的爬虫算法从学科文献、专家知识、教案、课程教材、知识库和试题集收集语料，依据权威机构、可靠出版社、学术期刊、知名专业网站的排名对语料来源赋予不同置信度，设置置信度阈值，当该条语料置信度大于等于阈值时，收录到语料库；反之，则不收录。计算网页排名具体步骤：
I：将网页表示为节点，若网页之间存在链接关系，则使用边连接，构建有向图；
II：设置每个节点的初始排名为其中N为节点总数量；
III：采用公式4计算节点排名：
其中，u表示节点序号，outv表示节点v的出度，Bu为所有与节点u连接的节点集合，0.85为阻尼系数；
Ⅳ：使用公式5归一化网页排名，并将其作为该网页置信度：
其中，max{PR(v)}和min{PR(v)}分别表示所有节点中排名最大值和最小值。
(2-2)学科知识抽取。使用n-gram分词算法处理新收录语料，获取该语料的词项序列，使用布朗聚类和词嵌入算法将词项序列转换为词向量序列，运用LDA主题模型提取学科原理、公式和概念的命名实体，采用双向循环神经网络获取各实体之间的上下位、相似和包含关系。
(2-3)学科知识组织。运用实体消歧算法消除学科实体的语义冗余信息获得已处理的候选实体，再使用词义相似度链接算法遍历、提取知识库中与之匹配实体，将候选实体-关系-匹配实体三者，使用RDF构建对应学科知识三元组，采用结点和边分别表示实体和关系，运用图结构组织学科知识。
(3)学生意图理解。使用有线碳棒话筒采集学生提问声音信号，运用模拟-数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用TextRank算法提取关键词，运用随机森林分类器获取学生的意图。
(3-1)提问数据采集。使用有线碳棒话筒获取纯度、清晰度高的学生提问声音信号，运用模拟-数字转换器采样声音信号，将其转换数字序列，设置高等级的降噪参数，采用回声印制方法降低回声和残响，依据语言学规则，运用基于规则算法识别、删除数字序列中咳嗽和口误片段。
(3-2)自动语音识别。如图3所示，依次堆叠三个注释层，处理输入的提问数字序列，处理获得包含口音、响度、音色和音调的声音特征向量，采用编码器将其转换为语义编码，再运用基于神经网络的语言模型，将声音的语义编码转换为文本序列。声音特征向量提取步骤：
I：使用One-hot编码将输入的提问数字序列转换为定长的输入向量x＝{xt}，其中xt为第t个时间步的元素值，t＝{1,2,...,T}；
II：采用循环神经网络构造注释层，堆叠注释层如公式6所示：
其中，ht (1)、ht (2)、ht (3)分别表示第一层、第二层和第三层的第t个时间步的输出值，RNN1、RNN2、RNN3分别表示三个循环神经网络模型；
III：运用公式7计算第t个时间步的输出值：
其中，[ht (1)；ht (2)；ht (3)]表示拼接三个注释层输出，W和b分别表示权重和偏置；
Ⅳ：采用公式8计算第t个时间步特征值：
其中，λ为常数；
Ⅴ：拼接时间步特征值，获取{y1,y2,...,yT}包含口音、响度、音色和音调的声音特征向量。
(3-3)学生意图提取。使用混合分词算法将文本序列转换为词项序列，譬如：将“数学中有多少种数”转换为“数学中有多少种数”词项序列，采用依存句法分析算法提取词项并列、从属、动宾关系，推断词项主语、谓语、宾语句法关系；依据句法关系，使用TextRank算法提取关键词，并运用随机森林分类器处理、获取学生的提问意图。依存句法分析算法步骤：
I：标注词项词性，得到“数学/名词中/介词有/动词多少/疑问副词种数/名词”；
II：定义R1、R2和R3规则，构建词项词性与依存关系规则库：
R1：名词与介词或动词存在主谓关系；
R2：动词与名词之间存在动宾关系；
R3：副词和名词之间存在定中关系；
III：匹配规则库，获取词项依存关系，并为其标记标签，其中：
“数学”和“中”与“有”之间存在主谓关系，标记为SVO；
“种数”与“有”之间存在动宾关系，标记为VO；
“多少”与“种数”存在定中关系，标记为ATT；
Ⅳ：依据依存关系和依存标签，构建如图4所示的依存关系树，推断主语、谓语和宾语分别为“数学”“有”和“种数”。
(4)教师应答反馈。使用语义角色标记算法标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小，获取候选实体；分别采用编码器、数学公式解析算法从句子中提取、生成应答结果。
(4-1)语义理解。使用语义角色标注算法处理(3-3)获取的词项序列，将每个词项标为施事、受事、领域、数量、所求、谓词、位置语义角色，构造语义角色集合R＝{r1,r2,...,rn}，比如：“数学中有多少种数”提取语义角色集合为R＝{“领域”,“位置”,“谓词”,“数量”,“所求”}，采用递归神经网络捕捉语义角色之间上下文关系，运用逻辑和推理规则推导语义角色中隐含信息，实现对文本更高层次的语义理解。
(4-2)学科知识匹配。依据所属学科领域和意图类别，将语义角色和知识实体作为输入，使用深度优先搜索遍历学科语料库，提取知识的实体及其关系，构造候选实体集合S＝{s1,s2,...,sm}，提取知识实体集合为S＝{“数学”,“种数”}使用GloVe算法输出词向量，采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度从大到小排序，获取候选实体，实现学科知识匹配。词向量匹配算法步骤：
I：采用GloVe算法分别将语义角色和实体集合转换为词向量集合，即VR＝{VR领域,VR位置,VR谓词,VR数量,VR所求}和VS＝{VS数学,VS选项数,VS种数}
II：使用公式9计算语义角色和知识实体之间的相似度：
其中，VRri和VSsj分别表示语义角色ri和知识实体sj的词向量；
III：依据相似度值，构造相似度矩阵，如公式10所示：
Ⅳ：使用公式11计算语义角色与每个知识实体之间的相似度：
其中，Q(R,sj)为语义角色集合与知识实体sj的相似度，Ai,j表示相似度矩阵A的第i行、第j列的元素；
Ⅴ：针对每个知识实体，获取相似度向量Sim＝{Q(R,“数学”)、Q(R,“种数”)、Q(R,“选项数”)}；
Ⅵ：依据相似度从大到小排序相似度向量中元素值，
Ⅶ：设置实体数量为2，获取候选实体为“数学”和“种数”，实现学科知识匹配。
(4-3)答案生成。依据候选实体及其关系，使用Transformer文本模型扩展、生成应答句子，采用网页匹配模板从句子中匹配视频、图像链接，依据传输数据协议，解析、下载视频和图像；分别采用编码器、数学公式解析算法从句子中提取程序代码、数学公式，生成视频、程序代码、数学公式和图像资源答案。
(5)虚拟教师体态同步。依次经过卷积神经网络层、循环神经网络提取情感特征，使用全连接层分类器将其分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配。
(5-1)文本情感识别。使用最大熵模型分词(4-3)应答句子，提取词项序列，采用GloVe算法将词项序列转换为包含情感、语义的词向量，如图5所示依次经过卷积神经网络层、循环神经网络层，获取词向量的情感特征，采用全连接层分类器将情感特征分为温和平静、热情洋溢、严厉冷静和冷漠无情类别。
(5-2)教师表情生成。依据教师应答词语的情感类别，运用基于深度学习的生成对抗网络推断双眼、眼睛眉毛、鼻子、嘴巴、下巴面部特征点位置坐标变化，结合教师基本表情、头部情感框架，驱动虚拟教师脸部关键点坐标的变化，实现面部表情更新。
(5-3)肢体动作与表情匹配。将虚拟教师动作划分为小单元，依据应答词语的情感和面部表情变化，提取、匹配对应肢体动作，构建表情-动作匹配库，并使用动态时间规整算法对齐动作和表情数据，运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配。动态时间规划算法步骤：
I：按照帧划分虚拟教师表情和肢体动作，获取帧序列；
II：分别使用三维形变模型和关键帧，提取帧序列中表情和肢体动作，生成{微笑、皱眉头}和{走路、抬右手、弯腰倾听、举起双手}动作序列；
III：定义(表情，动作，匹配等级)匹配模板，划分匹配等级为精准匹配、近似匹配、大致匹配，并分别表示为1、2、3；
Ⅳ：构建(微笑，走路，1)、(微笑，抬右手，2)、(微笑，举起双手，3)、(皱眉头，抬右手，1)和(皱眉头，弯腰倾听，2)匹配对：
Ⅴ：使用图6所示的树结构描述匹配对；
Ⅵ：依据匹配等级，遍历微笑、皱眉头表情，获取(微笑，走路)、(皱眉头，抬右手)、(皱眉头，弯腰倾听)、(微笑，举起双手)；
Ⅶ：对齐{微笑，皱眉头，皱眉头，微笑}和{走路，抬右手，弯腰倾听，举起双手}表情和肢体动作。
(6)应答结果呈现。在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上。
(6-1)虚拟幕布生成。在虚拟教室的讲台前方设置虚拟幕布，幕布长、宽比为16:9，高度与教室墙壁高度比为1:1.7，底色设置为白色，使用视频纹理动态切换教师的应答内容，根据观察者的位置和视角，实时切换虚拟幕布的朝向，与观察者的视线方向垂直。
(6-2)应答结果图片化。依据教师应答反馈获取的文本、视频、程序代码、数学公式和图像结果，使用视频分析算法将视频分割成有意义的帧序列，作为动态纹理图像；采用神经网络识别程序代码和数学公式，并将识别结果转换为字符和符号，使用像素坐标算法映射为纹理图片。
(6-3)空间呈现。使用动态纹理对象将应答结果映射到虚拟幕布上，并在幕布表面添加播放、停止、快进、快退功能键，控制虚拟幕布上资源显示；通过改变虚拟幕布的透明度，可在教学空间中使用3D场景，模拟、呈现3D对象的运动轨迹属性。
(7)应答结果交互。依据距离用户视线的远近和夹角，采用LOD形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势、常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸、扭曲和旋转操作。
(7-1)虚拟教学资源加载。依据教师的应答，识别其需要调用的3D模型、文本内容、程序代码、数学公式或教学视频；根据距离用户视线的远近和夹角，采用LOD形式动态调度不同清晰度的视频和模型，呈现在本地显示终端的虚拟幕布或教学空间中。
(7-2)交互规则响应生成。定义虚拟教学场景师生用户的划动、缩放、旋转、选中、组合的交互规则，使用关键行为检测算法提取师生的手势动作、常规体态和语音所蕴藏的交互命令，驱动虚拟教学资源执行单个移动、旋转和缩放操作或多个操作的组合命令。
(7-3)交互结果呈现。教师依据教学需要，可以设置超越物理、生理、空间规律的交互规则，选中、拆分教学资源的部件，拉近、拉远多角度呈现教学资源的表面外观，从内部视角观察资源的运行规律，运用网格变形算法实现如图7所示的教学资源形状的拉伸、扭曲和旋转。网格变形算法步骤：
I：读取教学资源3D网格模型，提取点-三角形索引结构；
II：将三角形面片顶点转换成点阵网格，按照公式12所示进行拉伸操作：
NewPos＝OldPos+D*L(公式12)
其中，D和L分别为拉伸方向和长度，OldPos为原始点阵位置坐标，NewPos为变形后的点阵位置坐标；
III：扭曲变形操作如公式13所示：
其中，(x,y)为原始点阵位置坐标，dx和dy为扭曲造成的形变，为扭曲变换矩阵，(x',y')为扭曲变形后的点阵位置坐标；
Ⅳ：循环遍历获取新的网格模型，实现变形后教学资源的呈现。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (10)

1.虚拟教学场景中生成式教学资源系统，其特征在于：包括虚拟教学场景环境生成模块、学科语料库构建模块、学生意图理解模块、教师应答反馈模块、虚拟教师体态同步模块；
所述虚拟教学场景环境生成模块，从虚拟素材库选择背景和对象，创设虚拟教学场景，运用SMPL算法重构光场采集的师生三维模型，在虚拟环境中聚合师生虚拟化身；
所述学科语料库构建模块，基于启发式搜索的爬虫算法采集学科语料，提取命名实体及其关系，运用RDF构建实体-关系-实体的学科知识三元组，采用图结构组织实体和关系；
所述学生意图理解模块，运用深度神经网络模型提取学生提问的文本序列，采用随机森林分类器获取学生提问的意图；
所述教师应答反馈模块，标记词项的语义角色，采用逻辑和推理规则推导语义角色中隐含信息，计算语义角色和各个实体之间的相似度，提取、生成应答结果；
所述虚拟教师体态同步模块，识别应答文本的情感类别，驱动虚拟教师的面部表情更新，运用单元动作匹配算法实现表情和肢体动作的一致。
2.根据权利要求1所述的虚拟教学场景中生成式教学资源系统，其特征在于：还包括应答结果呈现模块和应答结果交互模块；
所述应答结果呈现模块，将应答视频分割成帧序列，采用像素坐标算法将程序代码和数学公式映射成为图片，使用动态视频纹理对象将应答内容映射到虚拟幕布上；
所述应答结果交互模块，使用LOD算法动态调度视频和模型，使用关键行为检测算法提取师生用户的交互命令，执行组合命令，实现与教学资源的多模态交互。
3.虚拟教学场景中生成式教学资源系统的工作方法，其特征在于该方法包括以下步骤：
(1)虚拟教学场景环境生成；从虚拟素材库选择背景和对象，创设虚拟教室、实验室和会议讨论室教学场景；采用OpenPose算法定位光场采集的师生关节点，运用基于SMPL的三维人体重建算法重构师生三维模型；使用WebRTC算法聚合师生虚拟化身，采用5G云渲染算法实现高分辨率渲染画面的输出；
(2)学科语料库构建；使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录；运用LDA主题模型提取学科原理、公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用RDF构建实体-关系-实体的学科知识三元组，运用图结构组织实体和关系；
(3)学生意图理解；采集学生提问声音信号，运用模拟-数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用TextRank算法提取关键词，运用随机森林分类器获取学生的意图；
(4)教师应答反馈；使用语义角色标记算法标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小，获取候选实体；分别采用编码器、数学公式解析算法从句子中提取、生成应答结果；
(5)虚拟教师体态同步；依次经过卷积神经网络层、循环神经网络提取情感特征，使用全连接层分类器将其分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配；
(6)应答结果呈现；在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上；
(7)应答结果交互；依据距离用户视线的远近和夹角，采用LOD形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势、常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸、扭曲和旋转操作。
4.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(1)中所述的虚拟教学场景环境生成具体包括：
(1-1)虚拟教学场景创设，根据教学内容和应用场景，从虚拟素材库中选择高山、平原、海洋和宇宙背景，以及教室、黑板、桌椅、教具和学具对象，创设新的虚拟教室、实验室和会议讨论室，使用边界表示方法表示教学场景中对象模型；
(1-2)师生三维模型生成，使用摄像头组成的实时光场采集工作站，从不同侧面拍摄师生全身的图像，采用OpenPose算法定位师生主要关节点，运用基于SMPL的三维人体重建算法重构师生三维模型，依据教学场景，采用纹理映射算法定制师生的外貌特征；
(1-3)虚拟环境构建，基于“云-边-端”架构，采用WbeRTC算法将参与同一课程的师生虚拟化身聚合到共同教学空间中，依据SFTP传输协议，将虚拟教学场景和同一空间中师生虚拟化身上传到云服务器，使用5G云渲染算法实现高分辨率渲染画面的输出，经5G链路发送到各用户的显示终端。
5.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(2)中所述的学科语料库构建具体包括：
(2-1)语料采集，使用基于启发式搜索的爬虫算法从学科文献、专家知识、教案、课程教材、知识库和试题集收集语料，依据权威机构、可靠出版社、学术期刊、知名专业网站的排名对语料来源赋予不同置信度，设置置信度阈值，当该条语料置信度大于等于阈值时，收录到语料库；反之，则不收录；
(2-2)学科知识抽取，使用n-gram分词算法处理新收录语料，获取该语料的词项序列，使用布朗聚类和词嵌入算法将词项序列转换为词向量序列，运用LDA主题模型提取学科原理、公式和概念的命名实体，采用双向循环神经网络获取各实体之间的上下位、相似和包含关系；
(2-3)学科知识组织，运用实体消歧算法消除学科实体的语义冗余信息，获得已处理的候选实体，再使用词义相似度链接算法遍历、提取知识库中与之匹配实体，将候选实体-关系-匹配实体三者，使用RDF构建对应学科知识三元组，采用结点和边分别表示实体和关系，运用图结构组织学科知识。
6.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(3)中所述的学生意图理解具体包括：
(3-1)提问数据采集，获取纯度、清晰度高的学生提问声音信号，运用模拟-数字转换器采样声音信号，将其转换数字序列，设置高等级的降噪参数，采用回声印制方法降低回声和残响，依据语言学规则，运用基于规则算法识别、删除数字序列中咳嗽和口误片段；
(3-2)自动语音识别，依次堆叠三个注释层构建深度神经网络模型，处理输入的提问数字序列，处理获得包含口音、响度、音色和音调的声音特征向量，采用编码器将其转换为语义编码，再运用基于神经网络的语言模型，将声音的语义编码转换为文本序列；
(3-3)学生意图提取，使用混合分词算法将文本序列转换为词项序列，采用依存句法分析算法提取词项修饰、从属、谓语关系，推断词项主语、谓语、宾语句法关系；依据句法关系，使用TextRank算法提取关键词，并运用随机森林分类器处理、获取学生的提问意图。
7.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(4)中所述的教师应答反馈具体包括：
(4-1)语义理解，使用语义角色标注算法处理步骤(3)获取的词项序列，将每个词项标为施事、受事、领域、数量、所求、谓词、位置语义角色，采用递归神经网络捕捉语义角色之间上下文关系，运用逻辑和推理规则推导语义角色中隐含信息，实现对文本更高层次的语义理解；
(4-2)学科知识匹配，依据所属学科领域和意图类别，将语义角色和知识实体作为输入，使用深度优先搜索遍历学科语料库，提取知识的实体及其关系，使用GloVe算法输出词向量，采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度从大到小排序，获取候选实体，实现学科知识匹配；
(4-3)答案生成，依据候选实体及其关系，使用Transformer文本模型扩展、生成应答句子，采用网页匹配模板从句子中匹配视频、图像链接，依据传输数据协议，解析、下载视频和图像；分别采用编码器、数学公式解析算法从句子中提取程序代码、数学公式，生成视频、程序代码、数学公式和图像资源答案。
8.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(5)中所述的虚拟教师体态同步具体包括：
(5-1)文本情感识别，使用最大熵模型分词步骤(4)生成的应答句子，提取词项序列，采用GloVe算法将词项序列转换为包含情感、语义的词向量，依次经过卷积神经网络层、循环神经网络层，获取词向量的情感特征，采用全连接层分类器将情感特征分为温和平静、热情洋溢、严厉冷静和冷漠无情类别；
(5-2)教师表情生成，依据教师应答词语的情感类别，运用基于深度学习的生成对抗网络推断双眼、眼睛眉毛、鼻子、嘴巴、下巴面部特征点位置坐标变化，结合教师基本表情、头部情感框架，驱动虚拟教师脸部关键点坐标的变化，实现面部表情更新；
(5-3)肢体动作与表情匹配，将虚拟教师动作划分为小单元，依据应答词语的情感和面部表情变化，提取、匹配对应肢体动作，构建表情-动作匹配库，并使用动态时间规整算法对齐动作和表情数据，运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配。
9.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(6)中所述的应答结果呈现具体包括：
(6-1)虚拟幕布生成，在虚拟教室的讲台前方设置虚拟幕布，虚拟幕布底色设置为白色，使用视频纹理动态切换教师的应答内容，根据观察者的位置和视角，实时切换虚拟幕布的朝向，与观察者的视线方向垂直；
(6-2)应答结果预处理，依据教师应答反馈获取的文本、视频、程序代码、数学公式和图像结果，使用视频分析算法将视频分割成有意义的帧序列，作为动态纹理图像；采用神经网络识别程序代码和数学公式，并将识别结果转换为字符和符号，使用像素坐标算法映射为纹理图片；
(6-3)空间呈现，使用动态纹理对象将应答结果映射到虚拟幕布上，并在幕布表面添加播放、停止、快进、快退功能键，控制虚拟幕布上资源显示；通过改变虚拟幕布的透明度，可在教学空间中使用3D场景，模拟、呈现3D对象的运动轨迹属性。
10.根据权利要求1所述的虚拟教学场景中生成式教学资源系统的工作方法，其特征在于步骤(7)中所述的应答结果交互具体包括：
(7-1)虚拟教学资源加载，依据教师的应答，识别其需要调用的3D模型、文本内容、程序代码、数学公式或教学视频；根据距离用户视线的远近和夹角，采用LOD形式动态调度不同清晰度的视频和模型，呈现在本地显示终端的虚拟幕布或教学空间中；
(7-2)交互规则响应生成，定义虚拟教学场景师生用户的划动、缩放、旋转、选中、组合的交互规则，使用关键行为检测算法提取师生的手势动作、常规体态和语音所蕴藏的交互命令，驱动虚拟教学资源执行单个移动、旋转和缩放操作或多个操作的组合命令；
(7-3)交互结果呈现，教师依据教学需要，设置超越物理、生理、空间规律的交互规则，选中、拆分教学资源的部件，拉近、拉远
多角度呈现教学资源的表面外观，从内部视角观察资源的运行规律，
运用网格变形算法实现教学资源形状的拉伸、扭曲和旋转。
CN202310509908.4A 2023-05-08 2023-05-08 虚拟教学场景中生成式教学资源系统及其工作方法 Pending CN117055724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310509908.4A CN117055724A (zh) 2023-05-08 2023-05-08 虚拟教学场景中生成式教学资源系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310509908.4A CN117055724A (zh) 2023-05-08 2023-05-08 虚拟教学场景中生成式教学资源系统及其工作方法

Publications (1)

Publication Number Publication Date
CN117055724A true CN117055724A (zh) 2023-11-14

Family

ID=88665134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310509908.4A Pending CN117055724A (zh) 2023-05-08 2023-05-08 虚拟教学场景中生成式教学资源系统及其工作方法

Country Status (1)

Country Link
CN (1) CN117055724A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271809A (zh) * 2023-11-21 2023-12-22 浙江大学 基于任务场景和上下文感知的虚拟代理交流环境生成方法
CN117596433A (zh) * 2024-01-19 2024-02-23 自然语义(青岛)科技有限公司 一种基于时间轴微调的国际中文教学视听课件编辑系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877336A (zh) * 2018-03-26 2018-11-23 深圳市波心幻海科技有限公司 基于增强现实技术的教学方法、云服务平台和教学系统
CN109766427A (zh) * 2019-01-15 2019-05-17 重庆邮电大学 一种基于堆叠Bi-LSTM网络和协同注意力的虚拟学习环境智能问答方法
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN112509151A (zh) * 2020-12-11 2021-03-16 华中师范大学 一种教学场景中虚拟对象的真实感生成方法
CN113095969A (zh) * 2021-03-11 2021-07-09 华中师范大学 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN113242277A (zh) * 2021-04-19 2021-08-10 华中师范大学 一种5g网络环境下虚拟同步课堂教学系统及其工作方法
CN113362471A (zh) * 2021-05-27 2021-09-07 深圳市木愚科技有限公司 基于教学语义的虚拟老师肢体动作生成方法及系统
US20220013029A1 (en) * 2020-07-07 2022-01-13 eLearning IP, LLC Augmented video interaction learning analysis platform
CN114327060A (zh) * 2021-12-24 2022-04-12 华中师范大学 一种基于ai助手的虚拟教学系统的工作方法
US11410570B1 (en) * 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
WO2023018908A1 (en) * 2021-08-11 2023-02-16 MeetKai, Inc. Conversational artificial intelligence system in a virtual reality space

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877336A (zh) * 2018-03-26 2018-11-23 深圳市波心幻海科技有限公司 基于增强现实技术的教学方法、云服务平台和教学系统
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN109766427A (zh) * 2019-01-15 2019-05-17 重庆邮电大学 一种基于堆叠Bi-LSTM网络和协同注意力的虚拟学习环境智能问答方法
US20220013029A1 (en) * 2020-07-07 2022-01-13 eLearning IP, LLC Augmented video interaction learning analysis platform
CN112509151A (zh) * 2020-12-11 2021-03-16 华中师范大学 一种教学场景中虚拟对象的真实感生成方法
CN113095969A (zh) * 2021-03-11 2021-07-09 华中师范大学 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN113242277A (zh) * 2021-04-19 2021-08-10 华中师范大学 一种5g网络环境下虚拟同步课堂教学系统及其工作方法
CN113362471A (zh) * 2021-05-27 2021-09-07 深圳市木愚科技有限公司 基于教学语义的虚拟老师肢体动作生成方法及系统
WO2023018908A1 (en) * 2021-08-11 2023-02-16 MeetKai, Inc. Conversational artificial intelligence system in a virtual reality space
US11410570B1 (en) * 2021-09-27 2022-08-09 Central China Normal University Comprehensive three-dimensional teaching field system and method for operating same
CN114327060A (zh) * 2021-12-24 2022-04-12 华中师范大学 一种基于ai助手的虚拟教学系统的工作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONGSHENG RAO;JINGZHONG ZHANG;YU ZOU;YANCHUN SUN;XIANGPING CHEN;SONGHUA XU;: "An advanced operating environment for mathematics education resources", SCIENCE CHINA(INFORMATION SCIENCES), no. 09, 28 August 2018 (2018-08-28) *
朱珂;张思妍;刘?雨;: "基于情感计算的虚拟教师模型设计与应用优势", 现代教育技术, no. 06, 15 June 2020 (2020-06-15) *
胡燕;: "交互性虚拟教室的设计与实现", 计算机测量与控制, no. 08, 25 August 2010 (2010-08-25) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271809A (zh) * 2023-11-21 2023-12-22 浙江大学 基于任务场景和上下文感知的虚拟代理交流环境生成方法
CN117271809B (zh) * 2023-11-21 2024-02-09 浙江大学 基于任务场景和上下文感知的虚拟代理交流环境生成方法
CN117596433A (zh) * 2024-01-19 2024-02-23 自然语义(青岛)科技有限公司 一种基于时间轴微调的国际中文教学视听课件编辑系统
CN117596433B (zh) * 2024-01-19 2024-04-05 自然语义(青岛)科技有限公司 一种基于时间轴微调的国际中文教学视听课件编辑系统

Similar Documents

Publication Publication Date Title
Ye et al. Recognizing american sign language gestures from within continuous videos
Bragg et al. Sign language recognition, generation, and translation: An interdisciplinary perspective
Rastgoo et al. Sign language production: A review
Joy et al. SignQuiz: a quiz based tool for learning fingerspelled signs in indian sign language using ASLR
CN110488975B (zh) 一种基于人工智能的数据处理方法及相关装置
CN108416065A (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN117055724A (zh) 虚拟教学场景中生成式教学资源系统及其工作方法
Zirzow Signing avatars: Using virtual reality to support students with hearing loss
Cook et al. Framing In Computational Creativity-A Survey And Taxonomy.
Mehta et al. Automated 3D sign language caption generation for video
Adams Teachers building dwelling thinking with slideware
CN115953521B (zh) 远程数字人渲染方法、装置及系统
Hasnine et al. Vocabulary learning support system based on automatic image captioning technology
CN110245253A (zh) 一种基于环境信息的语义交互方法及系统
Rastgoo et al. All You Need In Sign Language Production
Dhanjal et al. An automatic conversion of Punjabi text to Indian sign language
Cafaro et al. Data through Movement: Designing Embodied Human-Data Interaction for Informal Learning
Alfonse et al. Arabic sign language benchmark database for different heterogeneous sensors
Putra et al. Designing translation tool: Between sign language to spoken text on kinect time series data using dynamic time warping
Hernández Correa et al. An application of machine learning and image processing to automatically detect teachers’ gestures
Tatale et al. A review on Virtual Reality for educating students with learning disabilities
Dokhani et al. Visually Enhanced E-learning Environments Using Deep Cross-Medium Matching
Tatale et al. Education using Virtual Reality for students with learning disabilities
Wang et al. Exploring the Potential of Immersive Virtual Environments for Learning American Sign Language
Samir et al. A proposed standardization for arabic sign language benchmark database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination