CN104064064A - 基于多模态人机交互技术的教学辅助系统 - Google Patents

Abstract

基于多模态人机交互技术的教学辅助系统，它包括情景教室，所述情景教室内设置有立体投影仪、音频采集装置、音频播放装置、视频采集装置及主机，所述主机分别与立体投影仪、音频采集装置、音频播放装置、视频采集装置连接。本发明通过捕捉操作者发出的语言以及肢体语言进行分析，然后再由视频集音频来反映出操作者的操作意愿，整个交互过程生动逼真，从而大大提高学生的学习兴趣，提高了教学质量。

Description

基于多模态人机交互技术的教学辅助系统

所属技术领域

本发明涉及教学辅助技术领域，尤其涉及一种基于多模态人机交互技术的教学辅助系统。

背景技术

现阶段教师们的教学课件仍然是以课本教材为主，但是随着时代的进步，教学知识量越来越大，简单的教材已经无法承载，而且仅仅以文字以及简单的二维图形已经很难诠释所学的知识点，从而造成教学质量得不到提升。

发明内容

本发明提供了一种通过音频、视频两种方式来进行人机交互的教学辅助系统。

为了解决背景技术所存在的问题，本发明是采用以下技术方案：它包括情景教室，所述情景教室内设置有立体投影仪、音频采集装置、音频播放装置、视频采集装置及主机，所述主机分别与立体投影仪、音频采集装置、音频播放装置、视频采集装置连接。

所述主机包括中央处理器、信息采集模块、信息处理集模块、数据发布模块，所述音频采集装置、视频采集装置与信息采集模块连接，信息采集模块与信息处理集模块连接，信息处理集模块与中央处理器连接，中央处理器与数据发布模块连接，数据发布模块再与立体投影仪、音频播放装置连接。

所述立体投影仪最少设置有四个，分别安装在情景教室的四角的上方。

所述音频播放装置最少设置有两个，分别安装在情景教室任一对角线的两个角上。

所述音频采集装置和视频采集装置设置在人机交互操作位置处。

本发明通过捕捉操作者发出的语言以及肢体语言进行分析，然后再由视频集音频来反映出操作者的操作意愿，整个交互过程生动逼真，从而大大提高学生的学习兴趣，提高了教学质量。

附图说明

图1为本发明的结构示意图；

图2为本发明的示意框图。

实施方式

参见图1-2，本发明它包括情景教室1，所述情景教室1内设置有立体投影仪2、音频采集装置3、音频播放装置4、视频采集装置5及主机6，所述主机6分别与立体投影仪2、音频采集装置3、音频播放装置4、视频采集装置5连接，所述立体投影仪2最少设置有四个，分别安装在情景教室1的四角的上方，音频播放装置4最少设置有两个，分别安装在情景教室1任一对角线的两个角上，所述音频采集装置3和视频采集装置5设置在人机交互操作位置处，所述主机包括中央处理器、信息采集模块、信息处理集模块、数据发布模块，所述音频采集装置、视频采集装置与信息采集模块连接，信息采集模块与信息处理模块连接，信息处理模块与中央处理器连接，中央处理器与数据发布模块连接，数据发布模块再与立体投影仪、音频播放装置连接。

当需要进行人机交互时，音频采集装置、视频采集装置将人物发出的语言以及肢体语言采集后传送给信息处理集模块，信息处理集模块将信息处理保存到中央处理器中，数据发布模块然后从中央处理器中获取出对应的数据经立体投影仪、音频播放装置在情景教室内播放，如操作者说打开某实验，则立体投影仪就会将数据库中某实验的相关设备在情景教室内投影出来，操作者可用语言或肢体语言来操作某仪器，在某一操作会有相应声音发出时，音频播放装置就会发出相应声响，使操作者如同在现实中操作一般，从而增加学生学习兴趣，提高教学质量。

Claims (5)

1.基于多模态人机交互技术的教学辅助系统，其特征在于：它包括情景教室，所述情景教室内设置有立体投影仪、音频采集装置、音频播放装置、视频采集装置及主机，所述主机分别与立体投影仪、音频采集装置、音频播放装置、视频采集装置连接。

2.根据权利要求1所述的系统，其特征在于，所述主机包括中央处理器、信息采集模块、信息处理集模块、数据发布模块，所述音频采集装置、视频采集装置与信息采集模块连接，信息采集模块与信息处理集模块连接，信息处理集模块与中央处理器连接，中央处理器与数据发布模块连接，数据发布模块再与立体投影仪、音频播放装置连接。

3.根据权利要求2所述的系统，其特征在于，所述立体投影仪最少设置有四个，分别安装在情景教室的四角的上方。

4.根据权利要求3所述的系统，其特征在于，所述音频播放装置最少设置有两个，分别安装在情景教室任一对角线的两个角上。

5.根据权利要求3或4所述的系统，其特征在于，所述音频采集装置和视频采集装置设置在人机交互操作位置处。