CN113362471A - 基于教学语义的虚拟老师肢体动作生成方法及系统 - Google Patents
基于教学语义的虚拟老师肢体动作生成方法及系统 Download PDFInfo
- Publication number
- CN113362471A CN113362471A CN202110586270.5A CN202110586270A CN113362471A CN 113362471 A CN113362471 A CN 113362471A CN 202110586270 A CN202110586270 A CN 202110586270A CN 113362471 A CN113362471 A CN 113362471A
- Authority
- CN
- China
- Prior art keywords
- teaching
- virtual
- teacher
- virtual teacher
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009471 action Effects 0.000 title claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 12
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 230000004913 activation Effects 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 claims description 61
- 238000013135 deep learning Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 241001672694 Citrus reticulata Species 0.000 claims description 3
- 241001310793 Podium Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 210000003414 extremity Anatomy 0.000 description 22
- 230000000694 effects Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Electrically Operated Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于教学语义的虚拟老师肢体动作生成方法及系统，系统包括：虚拟课堂模块，用于构建在线教育的课堂场景；虚拟教师模块，用于实现在线教育中教学内容输出、知识点讲解和答疑解惑；智能活化模块，基于动态课堂场景和虚拟教师语料语义等复杂信息，生成虚拟教师课堂教学的逼真动作数据；语音语料模块，用于虚拟课堂教学内容的语音存储和即时问答内容的语音合成；教学问答模块，用于生成回答学生问题的答案文本内容；数据辅助模块，用于存放海量真实教学内容的数据，构建内部推理和迭代智能算法模块。由上，本申请可应用于在线虚拟课堂及教学，有利于丰富虚拟教师形象，丰富虚拟课堂教学内容。
Description
技术领域
本发明属于人机交互，虚拟教师，智能教学等技术领域，尤其涉及一种基于教学语义的虚拟老师肢体动作生成方法及系统。
背景技术
目前，人工智能技术已经在开始广泛在各行各业里被应用，以改进传统的技术方案和商业模式。其中，在智能教育领域，以人工智能技术为核心的虚拟教师被提出，用来满足广大学生尤其是偏远地区学生对高质量教育资源的需求。现有技术的缺点是，虚拟教师在教学过程中肢体动作和表情效果过于呆板、并不能和真人老师的直播教学效果相媲美。受限于目前深度学习技术的不稳定性和现有的虚拟教师解决方案的不成熟，虚拟教师的动作并不能表现的真实、生动，从而大大影响了实际的教学效果。
因此，目前亟需一种基于教学语义的虚拟老师肢体动作生成方法及系统，满足虚拟教师教学过程中用户对于个性化、拟人化的强烈需求，以改善大众用户对于虚拟教师教学映像，促进虚拟教师智能教学技术得到更广泛的使用。
发明内容
基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于教学语义的虚拟老师肢体动作生成方法及系统，以提升虚拟教师教学过程中虚拟人物的动作表现，从而提高学生在虚拟教师教学中的学习效果。
第一方面，本发明的实施例提供了一种基于教学语义的虚拟老师肢体动作生成方法，包括：
通过计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟课堂场景以及课堂教学所涉及的至少课件窗口、场景物件和教学用具；
通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象；
通过深度学习技术，将复杂环境下的至少课堂教学文本、课堂课件、课堂教学用具作为输入变量，生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作；
通过语音合成技术、语义识别技术自建教学内容数据库，将目标教学内容的文本数据合成并输出对应的语音及语义；
通过自然语言工程技术，将学生提问的问题，进行语义理解并输出相对应的文本答案；
通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持。
优选的，所述课件窗口具体为教学课件呈现窗口，用于显示课堂教学所需的课件内容，所述课件内容包括但不限于：文本，照片，幻灯片，动画，影片，结构图，流程图；所述场景物件至少包括教室、报告厅、讲台、会议室教学场景，用于模仿教学环境；所述教学用具均可以与虚拟教师进行互动，至少包括：教鞭、尺子、圆规、地球仪、数学模具、书本、绘本，以及教学内容涉及的抽象物体，用于教学过程中相关教学内容的互动和展示。
优选的，所述通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象，具体为：采用深度合成技术、混合现实(MR)技术合成的仿真人物影像或采用三维建模技术构建的三维教师模型完成虚拟课堂教学的教学任务；其中，教学任务包括：
A、根据已经设定好的教案进行演讲、行为动作，与教学课件窗口的互动，与教学中需要呈现的物品道具互动；
B、回答学生对于教学内容的提问。
优选的，所述生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作之前，还包括：合成虚拟教师的仿真影像，计算出用于驱动三维虚拟教师行为的运动数据。
优选的，所述将目标教学内容的文本数据合成并输出对应的语音及语义，包括记录语音的音频数据和该音频数据所对应的文本信息，以及该文本信息所对应的语义信息，所述语音的声音种类包括：男声、女声、童声；其语言种类包括：普通话、各地方言、英式英语、美式英语。
优选的，所述合成虚拟教师的仿真影像，采用GAN技术，以真实视频为素材，合成带有指定语音口型的虚拟教师的仿真影像。
优选的，所述用于驱动三维虚拟教师行为的运动数据，包括但不限于在教学任务过程中：教师模型唇形运动数据、教师模型面部表情变化数据、教师模型驱赶四肢运动数据。
优选的，所述合成虚拟教师的仿真影像，具有实时、即时的演算能力，以满足学生提问即时反馈的功能需求。
优选的，所述通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持，通过智能识别和三维重建技术提取现实教学中教师上课的影像视频中教师教学的动作和对应的语音和语料信息。
第二方面，本发明还提供一种基于教学语义的虚拟老师肢体动作生成系统，包括：
虚拟课堂模块，通过计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟课堂场景以及课堂教学所涉及的至少课件窗口、场景物件和教学用具；
虚拟教师模块，通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象；
智能活化模块，通过深度学习技术，将复杂环境下的至少课堂教学文本、课堂课件、课堂教学用具作为输入变量，生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作；
语音语料模块，通过语音合成技术、语义识别技术自建教学内容数据库，将目标教学内容的文本数据合成并输出对应的语音及语义；
教学问答模块，通过自然语言工程技术，将学生提问的问题，进行语义理解并输出相对应的文本答案；
数据辅助模块，通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持。
由上，本发明实施例提供的基于教学语义的虚拟老师肢体动作生成方法及系统，满足虚拟教师教学过程中用户对于个性化、拟人化的需求，改善了大众用户对于虚拟教师教学映像，促进虚拟教师智能教学技术得到更广泛的使用，提升了虚拟教师教学过程中虚拟人物的动作表现，从而提高学生在虚拟教师教学中的学习效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于教学语义的虚拟老师肢体动作生成系统的结构图。
图2为本申请实施例提供的基于教学语义的虚拟老师肢体动作生成方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例1
如图2所示，本申请提供的基于教学语义的虚拟老师肢体动作生成方法，包括：
步骤S1、通过计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟课堂场景以及课堂教学所涉及的至少课件窗口、场景物件和教学用具；其中，所述课件窗口具体为教学课件呈现窗口，用于显示课堂教学所需的课件内容，所述课件内容包括但不限于：文本，照片，幻灯片，动画，影片，结构图，流程图；所述场景物件包括教室，报告厅，多媒体舞台，会堂，会议室，露天讲台，户外长椅等用于演讲、交流、对话的场景等，用于模仿教学环境；所述教学用具均可以与虚拟教师进行互动，至少包括：教鞭、尺子、圆规、地球仪、数学模具、书本、绘本等教学教具、器材，知识内容中的物品、人物、地图、三维建模物体等，以及教学内容涉及的抽象物体，用于教学过程中相关教学内容的互动和展示。
步骤S2、通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象,合成虚拟教师的仿真影像，采用GAN技术，以真实视频为素材，合成带有指定语音口型的虚拟教师的仿真影像。仿真影像可以是虚拟教师图像画面，图像画包括虚拟教师的头部、头发、五官、躯干、四肢以及着装、饰品、眼镜等。也可以是是通过建模软件构建带有骨架的人物模型，制作出虚拟教师的形象，模型骨架采用蒙皮算法绑定三维模型的顶点和网格。模型骨架包含：人物面部，人物眼睛，下巴，头部，四肢，躯干，手指，所有手指关节点等。
虚拟教师形象完成教学任务，具体采用深度合成技术、混合现实(MR)技术合成的仿真人物影像或采用三维建模技术构建的三维教师模型完成虚拟课堂教学的教学任务；其中，教学任务包括：
A、根据已经设定好的教案进行演讲、行为动作，与教学课件窗口的互动，与教学中需要呈现的物品道具互动；
B、回答学生对于教学内容的提问。
教学任务的完成的教学过程，通过教学演讲，教学内容的展示，与教学课件窗口的互动，与教学内容相关道具的互动，与学生的问答等形式。另外，合成虚拟教师的仿真影像，具有实时、即时的演算能力，以满足学生提问即时反馈的功能需求。
步骤S3、通过深度学习技术，将复杂环境下的至少课堂教学文本、课堂课件、课堂教学用具作为输入变量，生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作；虚拟教师形象模拟教师动作行为的部位和区域，包括但不限于：虚拟教师的唇形、眼睛、头部姿态、面部表情、身体驱赶、四肢、手腕、手指以及相关部位所佩戴的饰品眼镜等。另外，生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作之前，还包括：合成虚拟教师的仿真影像，计算出用于驱动三维虚拟教师行为的运动数据，包括但不限于在教学任务过程中：教师模型唇形运动数据、教师模型面部表情变化数据、教师模型驱赶四肢运动数据。
步骤S4、通过语音合成技术、语义识别技术自建教学内容数据库，将目标教学内容的文本数据合成并输出对应的语音及语义；语音数据包括录制和TTS技术合成的语音文件。其中，将目标教学内容的文本数据合成并输出对应的语音及语义，包括记录语音的音频数据和该音频数据所对应的文本信息，以及该文本信息所对应的语义信息，所述语音的声音种类包括：男声、女声、童声；其语言种类包括：普通话、各地方言、英式英语、美式英语。
步骤S5、通过自然语言工程技术，将学生提问的问题，进行语义理解并输出相对应的文本答案；其中，学生提问方式为语音形式的提问。语音识别模型将声音转化为文本信息，自然语言处理模型生成交互文本，语音合成通过交互文本合成语音文件并输出。
步骤S6、通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持。是指通过深度学习技术，通过智能识别和三维重建技术提取现实教学中教师上课的影像视频中教师教学的动作和对应的语音和语料信息，根据即时语音语料模块提供的语音文件和关联的语义内容，以及虚拟课堂模块状态，合成出虚拟教师需要做出的动作的数据，输出到虚拟教师模块，而从完成整个驱动过程。
由上，可以根据虚拟课堂教学任务中对应的教学语音和语义，进一步优化虚拟教师在课堂教学任务中动作数据，从而可以提升虚拟教师的整体逼真度和虚拟课堂的趣味性，丰富虚拟课堂教学任务的种类，推动虚拟教师在智能教育中的广泛应用。
实施例二
如图1所示，本实施例提供的基于教学语义的虚拟老师(仿真图像)肢体动作生成系统，包括：
虚拟课堂模块101，通过多媒体素材和图像合成技术，描绘出一个卡通版本的虚拟课堂背景，并附带画中画窗口，该窗口用于播放课程课件。通过多媒体素材和图像合成技术，在虚拟课堂中添加相关的物体和道具。
虚拟教师模块102，通过人工智能的计算机视觉技术和深度学习技术，合成出教师形象的图像数据，并融合进虚拟课堂模块101中，呈现出有教师的虚拟课堂。
智能活化模块103，根据语音语料模块104提供的教学过程需要的语音数据，和虚拟教师模块102中获得的虚拟教师形象数据，合成出基于语音数据的教师唇形运动的连续时间段的图像，形成虚拟教师的教学视频流。同时，根据数据辅助模块106提供的教学资源视频中教师的动作行为和教师语义的关系以及虚拟课堂模块101提供的虚拟课堂的状态信息，合成出基于同样语音的教师肢体运动的连续时间段的图像。
教学问答模块105，在学生提问时，识别学生提问的问题，并生成虚拟教师用于回答的问题，以及该问题对应的语音。将语音输出至语音语料模块104中。
实施例三
如图1所示，本实施例提供的基于教学语义的虚拟老师(三维模型)肢体动作生成系统，包括：
虚拟课堂模块101，通过多媒体素材和三维建模技术，构建出一个三维的虚拟课堂场景，并附带画中画窗口，该窗口用于播放课程课件。通过多媒体素材和三维建模技术，在虚拟课堂中添加相关的物体和道具。同时采用三维引擎技术对场景进行渲染。
虚拟教师模块102，通过三维建模技术和人工智能的深度学习技术，构建出带有骨架结构的三维教师模型，并融合进虚拟课堂模块101中，呈现出有教师的虚拟课堂。
智能活化模块103，根据语音语料模块104提供的教学过程需要的语音数据，和虚拟教师模块102中获得的虚拟教师形象数据，合成出基于语音数据的教师唇形运动的连续时间段的三维模型运动数据，形成虚拟教师的教学视频流。同时，根据数据辅助模块106提供的教学资源视频中教师的动作行为和教师语义的关系以及虚拟课堂模块101提供的虚拟课堂的状态信息，合成出基于同样语音的教师肢体运动的连续时间段的三维模型运动数据。
教学问答模块105，在学生提问时，识别学生提问的问题，并生成虚拟教师用于回答的问题，以及该问题对应的语音。将语音输出至语音语料模块104中。
综上，本申请满足虚拟教师教学过程中用户对于个性化、拟人化的需求，改善了大众用户对于虚拟教师教学映像，促进虚拟教师智能教学技术得到更广泛的使用，提升了虚拟教师教学过程中虚拟人物的动作表现，从而提高学生在虚拟教师教学中的学习效果。
以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。
Claims (10)
1.基于教学语义的虚拟老师肢体动作生成方法，其特征在于，包括：
通过计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟课堂场景以及课堂教学所涉及的至少课件窗口、场景物件和教学用具；
通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象；
通过深度学习技术，将复杂环境下的至少课堂教学文本、课堂课件、课堂教学用具作为输入变量，生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作；
通过语音合成技术、语义识别技术自建教学内容数据库，将目标教学内容的文本数据合成并输出对应的语音及语义；
通过自然语言工程技术，将学生提问的问题，进行语义理解并输出相对应的文本答案；
通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持。
2.如权利要求1所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述课件窗口具体为教学课件呈现窗口，用于显示课堂教学所需的课件内容，所述课件内容包括但不限于：文本、照片、幻灯片、动画、影片、结构图、流程图；所述场景物件至少包括教室、报告厅、讲台、会议室教学场景，用于模仿教学环境；所述教学用具均可以与虚拟教师进行互动，至少包括：教鞭、尺子、圆规、地球仪、数学模具、书本、绘本，以及教学内容涉及的抽象物体，用于教学过程中相关教学内容的互动和展示。
3.如权利要求1所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象，具体为：采用深度合成技术、混合现实技术合成的仿真人物影像或采用三维建模技术构建的三维教师模型完成虚拟课堂教学的教学任务；其中，教学任务包括：
A、根据已经设定好的教案进行演讲、行为动作，与教学课件窗口的互动，与教学中需要呈现的物品道具互动；
B、回答学生对于教学内容的提问。
4.如权利要求1所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作之前，还包括：合成虚拟教师的仿真影像，计算出用于驱动三维虚拟教师行为的运动数据。
5.如权利要求1所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述将目标教学内容的文本数据合成并输出对应的语音及语义，包括记录语音的音频数据和该音频数据所对应的文本信息，以及该文本信息所对应的语义信息，所述语音的声音种类包括：男声、女声、童声；其语言种类包括：普通话、各地方言、英式英语、美式英语。
6.如权利要求4所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述合成虚拟教师的仿真影像，采用GAN技术，以真实视频为素材，合成带有指定语音口型的虚拟教师的仿真影像。
7.如权利要求4所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述用于驱动三维虚拟教师行为的运动数据，包括但不限于在教学任务过程中：教师模型唇形运动数据、教师模型面部表情变化数据、教师模型驱赶四肢运动数据。
8.如权利要求4所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述合成虚拟教师的仿真影像，具有实时、即时的演算能力，以满足学生提问即时反馈的功能需求。
9.如权利要求1所述的基于教学语义的虚拟老师肢体动作生成方法，其特征在于，所述通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持，通过智能识别和三维重建技术提取现实教学中教师上课的影像视频中教师教学的动作和对应的语音和语料信息。
10.一种基于教学语义的虚拟老师肢体动作生成系统，其特征在于，包括：
虚拟课堂模块，通过计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟课堂场景以及课堂教学所涉及的至少课件窗口、场景物件和教学用具；
虚拟教师模块，通过深度学习、计算机视觉和三维建模技术，构建出在真实或三维建模下的虚拟教师形象；
智能活化模块，通过深度学习技术，将复杂环境下的至少课堂教学文本、课堂课件、课堂教学用具作为输入变量，生成出高度逼真的基于虚拟教师形象的连续的发音口型、面部表情和肢体动作；
语音语料模块，通过语音合成技术、语义识别技术自建教学内容数据库，将目标教学内容的文本数据合成并输出对应的语音及语义；
教学问答模块，通过自然语言工程技术，将学生提问的问题，进行语义理解并输出相对应的文本答案；
数据辅助模块，通过构建海量真实教学视频数据资源库，为所述虚拟教师的动作生成提供数据和算法支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586270.5A CN113362471A (zh) | 2021-05-27 | 2021-05-27 | 基于教学语义的虚拟老师肢体动作生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586270.5A CN113362471A (zh) | 2021-05-27 | 2021-05-27 | 基于教学语义的虚拟老师肢体动作生成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113362471A true CN113362471A (zh) | 2021-09-07 |
Family
ID=77527885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110586270.5A Pending CN113362471A (zh) | 2021-05-27 | 2021-05-27 | 基于教学语义的虚拟老师肢体动作生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362471A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821104A (zh) * | 2021-09-17 | 2021-12-21 | 武汉虹信技术服务有限责任公司 | 一种基于全息投影的可视化交互系统 |
| CN115016648A (zh) * | 2022-07-15 | 2022-09-06 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
| CN115379278A (zh) * | 2022-03-31 | 2022-11-22 | 深圳职业技术学院 | 一种基于xr技术沉浸式微课的录制方法及系统 |
| CN117055724A (zh) * | 2023-05-08 | 2023-11-14 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统及其工作方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105632251A (zh) * | 2016-01-20 | 2016-06-01 | 华中师范大学 | 具有语音功能的3d虚拟教师系统及其方法 |
| CN109118562A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 虚拟形象的讲解视频制作方法、装置以及终端 |
| JP2020016880A (ja) * | 2018-07-24 | 2020-01-30 | 艾爾科技股▲ふん▼有限公司 | ダイナミックストーリー指向のデジタル言語教育方法及びシステム |
| CN110852922A (zh) * | 2018-08-21 | 2020-02-28 | 艾尔科技股份有限公司 | 动态剧情导向的语言数位教学的方法及系统 |
| CN111325817A (zh) * | 2020-02-04 | 2020-06-23 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
| CN112017085A (zh) * | 2020-08-18 | 2020-12-01 | 上海松鼠课堂人工智能科技有限公司 | 智能虚拟教师形象人格化方法 |
| CN112162628A (zh) * | 2020-09-01 | 2021-01-01 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 |
| CN112184858A (zh) * | 2020-09-01 | 2021-01-05 | 魔珐(上海)信息科技有限公司 | 基于文本的虚拟对象动画生成方法及装置、存储介质、终端 |
| CN112562720A (zh) * | 2020-11-30 | 2021-03-26 | 清华珠三角研究院 | 一种唇形同步的视频生成方法、装置、设备及存储介质 |
-
2021
- 2021-05-27 CN CN202110586270.5A patent/CN113362471A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105632251A (zh) * | 2016-01-20 | 2016-06-01 | 华中师范大学 | 具有语音功能的3d虚拟教师系统及其方法 |
| JP2020016880A (ja) * | 2018-07-24 | 2020-01-30 | 艾爾科技股▲ふん▼有限公司 | ダイナミックストーリー指向のデジタル言語教育方法及びシステム |
| CN110852922A (zh) * | 2018-08-21 | 2020-02-28 | 艾尔科技股份有限公司 | 动态剧情导向的语言数位教学的方法及系统 |
| CN109118562A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 虚拟形象的讲解视频制作方法、装置以及终端 |
| CN111325817A (zh) * | 2020-02-04 | 2020-06-23 | 清华珠三角研究院 | 一种虚拟人物场景视频的生成方法、终端设备及介质 |
| CN112017085A (zh) * | 2020-08-18 | 2020-12-01 | 上海松鼠课堂人工智能科技有限公司 | 智能虚拟教师形象人格化方法 |
| CN112162628A (zh) * | 2020-09-01 | 2021-01-01 | 魔珐(上海)信息科技有限公司 | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 |
| CN112184858A (zh) * | 2020-09-01 | 2021-01-05 | 魔珐(上海)信息科技有限公司 | 基于文本的虚拟对象动画生成方法及装置、存储介质、终端 |
| CN112562720A (zh) * | 2020-11-30 | 2021-03-26 | 清华珠三角研究院 | 一种唇形同步的视频生成方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张思妍: "基于情感计算的虚拟教师设计及应用研究", CNKI 优秀硕士学位论文全文库，信息科技, 1 April 2020 (2020-04-01) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821104A (zh) * | 2021-09-17 | 2021-12-21 | 武汉虹信技术服务有限责任公司 | 一种基于全息投影的可视化交互系统 |
| CN115379278A (zh) * | 2022-03-31 | 2022-11-22 | 深圳职业技术学院 | 一种基于xr技术沉浸式微课的录制方法及系统 |
| CN115379278B (zh) * | 2022-03-31 | 2023-09-05 | 深圳职业技术学院 | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 |
| CN115016648A (zh) * | 2022-07-15 | 2022-09-06 | 大爱全息(北京)科技有限公司 | 一种全息互动装置及其处理方法 |
| CN117055724A (zh) * | 2023-05-08 | 2023-11-14 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统及其工作方法 |
| CN117055724B (zh) * | 2023-05-08 | 2024-05-28 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统的工作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cole et al. | Perceptive animated interfaces: First steps toward a new paradigm for human-computer interaction | |
| Kenny et al. | Building interactive virtual humans for training environments | |
| CN113362471A (zh) | 基于教学语义的虚拟老师肢体动作生成方法及系统 | |
| Cole et al. | New tools for interactive speech and language training: Using animated conversational agents in the classrooms of profoundly deaf children | |
| Flottemesch | Learning through narratives: The impact of digital storytelling on intergenerational relationships | |
| CN111477049A (zh) | 一种教育创新创业训练用智能化培训交互系统 | |
| De Bock et al. | Rods, sets and arrows | |
| CN116957867A (zh) | 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质 | |
| Andrei et al. | Designing an American Sign Language avatar for learning computer science concepts for deaf or hard-of-hearing students and deaf interpreters | |
| Zhang | The college English teaching reform supported by multimedia teaching technology and immersive virtual reality technology | |
| Pan et al. | Application of virtual reality in English teaching | |
| CN110046290B (zh) | 一种个性化自主教学课程系统 | |
| Ryu et al. | Increasing persona effects: Does it matter the voice and appearance of animated pedagogical agent | |
| Yorganci et al. | Avatar-based sign language training interface for primary school education | |
| Chen et al. | Research on the Application of" AR/VR+" traditional cultural education based on artificial intelligence | |
| Sabadosh et al. | ANALYSIS OF THE EFFECTIVENESS OF USING VR TECHNOLOGIES IN THE PROCESS OF LEARNING ENGLISH LANGUAGE | |
| Alenabi et al. | Learning modeling based on visual and auditory sense in engineering education | |
| Rasheed et al. | LANGUAGE LEARNING TOOL BASED ON AUGMENTED REALITY AND THE CONCEPT FOR IMITATING MENTAL ABILITY OF WORD ASSOCIATION (CIMAWA) | |
| Doswell | It's virtually pedagogical: pedagogical agents in mixed reality learning environments | |
| Liu | The application and influence of TPR teaching methods in online English enlightenment courses for children ages two to eight | |
| Matsuda et al. | Design and implementation of Cyber assistant professor: CAP | |
| Hill | Professor Papert and his learning machine | |
| Feng et al. | Transferring Human Tutor's Style to Pedagogical Agent: A Possible Way by Leveraging Variety of Artificial Intelligence Achievements | |
| Dai | The Application of Computer Virtual Reality Technology in Improvisation Practice Assistance System Design | |
| Xie et al. | An immersive situational group learning system with body movement and emotion recognition combined with subject knowledge |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |