CN106408480A - 基于增强现实、语音识别的国学三维交互学习系统及方法 - Google Patents

Abstract

本发明公开了一种基于增强现实技术、语音识别技术的国学三维交互学习系统及方法，包括：至少一张书页或者卡片，摄像装置，图像识别处理模块、显示设备，声音输入装置，语音识别模块、声音播放设备，程序功能模块和一套人机交互国学素材库；通过摄像装置采集图像信息、根据采集的信息运算，将国学场景显示在真实的三维空间中，完成增强现实的交互；通过语音采集，进行语音内容校验，得出采集到的国学朗读内容，完成语音识别的交互；同时，还可以与标准语音信息对比进行评分。本发明通过上述原理与方法，解决了当前国学教育的内容抽象、形式单一、枯燥乏味等问题，易于操作，成本低，非常适合传统文化的推广普及。

Description

基于增强现实、语音识别的国学三维交互学习系统及方法

技术领域

本发明涉及到国学的学习方法与多媒体互动教学的技术领域，特别是涉及一种基于增强现实、语音识别的国学三维交互学习系统及方法。

背景技术

中国传统文化是中华文明演化而汇集成的一种反映民族特质和风貌的民族文化，是民族历史上各种思想文化、观念形态的总体表征，是指居住在中国地域内的中华民族及其祖先所创造的、为中华民族世世代代所继承发展的、具有鲜明民族特色的、历史悠久、内涵博大精深、传统优良的文化。简单来说，就是通过不同的文化形态来表示的各种民族文明、风俗、精神的总称。

国学，是以先秦经典及诸子百家学说为根基，并涵盖各历史时期文化精髓的学术。中国历史上“国学”是指以“国子监”为首的国立学校，自“西学东渐”后相对西学而言泛指“中国传统思想文化学术”。

国学现阶段的教学存在以下缺陷：

1、传统的教学内容枯燥单一，教学内容不够生动形象；

2、传统的教学形式只有单一的读、看、背，学生缺乏学习的乐趣；

3、传统的教学载体单一，基本都是书本、光盘，近年来有少量的网络或者手机教学手段出现。

增强现实是虚拟现实领域发展的一个分支，同时也是计算机视觉、计算机图形学、多媒体、人机交互等多种技术相互交叉的崭新的研究领域。增强现实不仅使人看到周围的真实场景，并且通过在真实场景中叠加或合成虚拟物体，增强人对真实场景的感知能力。目前国内外已有研究将增强现实技术应用于视频会议、维修、机器人遥操作、外科手术规划等方面。

由于增强现实虚实结合的特点，使基于增强现实的国学教学成为可能。基于增强现实、语音识别的国学三维交互学习系统是指通过立体视觉获取国学教育内容的现实场景图像，通过增强现实的虚实注册技术将国学教育的虚拟场景叠加在现实场景图像上，人可以通过人机交互技术操作虚拟场景对国学教学的意境进行解读。由于基于增强现实、语音识别的国学三维互动学习系统不仅结合了传统的多媒体展示技术，同时也借助增强现实技术、语音识别技术融入了人的视觉感知能力、人工智能考评能力，使得国学学习有了很强的代入感，增强学习的乐趣与效率。

综上所述，将国学知识的意境画面变成跃然纸上进行三维可交互性，集声音、绘画、图形识别、动画、交互等于一体，并且在学习过程中可以“视·听·说·触·想”等多感体验，触发使用者无限艺术灵感，既可以在过程中体会绘画的乐趣，又可以让使用者身处国学教育的情境，理解每个国学知识点的寓意，感受国学的魅力，寓教于乐，在轻松愉快的环境中体验学习的乐趣，这才是本专利的动机与目的。

发明内容

本发明的目的是提出基于增强现实、语音识别的国学三维交互学习系统及方法，利用增强现实技术、语音识别技术进行国学的人机交互学习，解决当前国学教育方法的低趣味性、形式单一性。克服技术困难，将学习者的听、说、读、写、看等所有感官都调动起来，全方位展现国学文化，在教学方法上与现在的传统教学方式相比有很大的优势。

基于增强现实、语音识别的国学三维交互学习系统及方法，实现的基本原理由图像识别技术、语音识别技术、增强现实技术和人机交互素材库组成。

基于增强现实、语音识别的国学三维交互学习系统，包括：

至少一张书页或者卡片，其上面的内容是对应的国学知识的图像，该图像作为一个识别标识与国学识别标识库中的图像信息进行比对；

一套人机交互国学素材库，包括国学识别标识库、国学语音标识库、国学三维模型动画库、国学图文信息库、国学音频库，其中国学识别标识库、国学语音标识库中各包含一个ID编号的数据字段，该ID编号映射到至少一组三维模型动画、图文信息和音频信息；

摄像装置，用于采集书页或者卡片的图像信息也就是识别标识，并导入图像识别处理模块；

图像识别处理模块，将摄像装置采集的图像与国学识别标识库的图像信息进行比对，如果匹配成功将获得其对应的ID编号；

声音输入装置，用于采集用户的语音信息并将该语音信息输入语音识别模块；

语音识别模块，将声音输入装置采集的语音与国学语音标识库的语音信息进行比对，如果匹配成功将获得其对应的ID编号；

程序功能模块，通过所获得的ID编号与国学素材库中的三维模型动画、图文信息、音频信息进行关联；

显示设备，将所获得的ID编号所关联的国学素材库中的三维模型动画、图文信息经增强现实技术渲染后呈现给用户；

声音播放设备，将所获得的ID编号所关联的国学素材库中的音频信息呈现给用户；

图像识别处理模块对摄像装置采集到的图像信息进行特征点的提取、筛选、分析，借助云端国学识别标识库的图像信息进行比对，如果匹配成功将获得其ID编号；

语音识别模块对声音输入装置采集的语音信息进行波谱分析，借助云端的波谱数据进行校验比对，得出语音输入的内容，并与语音标识库的语音信息进行比对，如果匹配成功将获得其ID编号。

人机交互国学素材库包括：

国学识别标识库，存储用于在图像识别处理模块中进行比对的图像信息；

国学语音标识库，存储用于在语音识别模块中进行比对的语音信息；

国学三维模型动画库，通过3ds Max或者Maya进行三维模型动画创建，材质纹理处理，进行骨骼绑定、动画处理，最终导出FBX的模型格式文件，并对模型进行特效处理，关联信息处理，等待人机交互时进行调用；

国学图文信息库，整理国学知识体系，将国学内容对应的文字内容、图片信息，以常用的文字格式、图片格式存储，等待人机交互时进行调用；

国学音频库，整理国学知识体系，将国学内容对应的音频信息，以常用的音频格式存储，等待人机交互时进行调用。

根据上述增强现实、语音识别的国学三维交互学习系统进行学习的方法，包括以下步骤：

步骤一、创建一套人机交互国学素材库；

步骤二、利用摄像装置获取书页或卡片的空间位置，采集书页或者卡片的图像信息并导入图像识别处理模块；

步骤三、图像识别处理模块对摄像装置采集的图像信息进行特征点的提取、筛选、分析，借助云端国学识别标识库的数据进行图像比对，如果匹配成功将获得其ID编号；

步骤四、程序功能模块利用图像识别处理模块获得的ID编号，与对应的三维模型动画、图文信息、音频信息进行关联，并将对应的三维模型动画定位到空间位置中，完成增强现实的渲染；

步骤五、显示设备将经增强现实技术渲染后的三维模型动画内容和图文信息呈现给用户；声音播放设备将对应的音频信息呈现给用户；

步骤六、声音输入装置采集用户的语音信息并将该语音信息输入语音识别模块；

步骤七、语音识别模块对声音输入装置采集的语音信息进行波谱分析，借助云端的波谱数据进行校验比对，得出语音输入的内容，并与语音标识库的内容比对，如果匹配成功将获得该语音信息的ID编号；

步骤八、程序功能模块利用声音识别模块获得的ID编号，与对应的三维模型动画、图文信息、音频信息进行关联，并将对应的三维模型动画定位到空间位置中，完成增强现实的渲染；显示设备将经增强现实技术渲染后的三维模型动画内容和图文信息呈现给用户；声音播放设备将对应的音频信息呈现给用户；

步骤九、根据步骤七中语音识别模块的比对匹配的结果，如果匹配成功，表明使用者朗读的内容基本正确，以此可以实现对使用者的国学朗读水平进行考评。

本发明的有益效果是：

1、国学知识的意境画面变成跃然眼前的三维可交互性场景，集声音、绘画、图形识别、动画、交互等于一体，并且在过程中可以“视·听·说·触·想”等多感体验，触发使用者无限艺术灵感，既可以在过程中体会绘画的乐趣，又可以让使用者身处国学教育的情境，理解每个国学知识点的寓意，感受国学的魅力，寓教于乐，在轻松愉快的环境中体验学习的乐趣。解决了国学教育的低趣味性、形式单一性。

2、语音识别技术基于用户的语音特征，建立个性化词条定制的语言模型，调整识别参数，持续优化识别效果，提高用户的个性化词条识别准确率。并进行国学内容模式匹配，对于国学内容朗诵中出现的停顿，连读进行容错处理。

3、图像识别技术中在原有的特征点提取、分析算法基础上，加入了特征点筛选算法，保证图像特征点选取时的平均性，保证特征点分布在图像的各个重要位置，而不是集中在某几个区域。

附图说明

图1是本发明的原理框图。

图2是增强现实的流程图。

具体实施方式

下面结合附图对本发明基于增强现实、语音识别的国学三维交互学习系统的具体实施作进一步阐述：

准备好至少一张书页或者卡片，其上面的内容是对应的国学知识的图像，该图像作为一个识别标识与国学识别标识库中的图像信息进行比对。

设计完成一套人机交互国学素材库，包括国学识别标识库、国学语音标识库、国学三维模型动画库、国学图文信息库、国学音频库，其中国学识别标识库、国学语音标识库中各包含一个ID编号的数据字段，该ID编号映射到至少一组三维模型动画、图文信息和音频信息。

国学识别标识库，存储用于在图像识别处理模块中进行比对的图像信息；

国学语音标识库，存储用于在语音识别模块中进行比对的语音信息；

国学三维模型动画库，通过3ds Max或者Maya进行三维模型动画创建，材质纹理处理，进行骨骼绑定、动画处理，最终导出FBX的模型格式文件，并对模型进行特效处理，关联信息处理，等待人机交互时进行调用；

国学图文信息库，整理国学知识体系，将国学内容对应的文字内容、图片信息，以常用的文字格式、图片格式存储，等待人机交互时进行调用；

国学音频库，整理国学知识体系，将国学内容对应的音频信息，以常用的音频格式存储，等待人机交互时进行调用。

然后，准备以下的硬件装置：

摄像装置，用于采集书页或者卡片的图像信息也就是识别标识，并导入图像识别处理模块；

声音输入装置，用于采集用户的语音信息并将该语音信息输入语音识别模块；

显示设备，将所获得的ID编号所关联的国学素材库中的三维模型动画、图文信息经增强现实技术渲染后呈现给用户；

声音播放设备，将所获得的ID编号所关联的国学素材库中的音频信息呈现给用户。

比如，摄像装置，可以采用摄像头；声音输入装置，可以采用话筒；显示设备，可以采用显示器；声音播放设备，可以采用扬声器。

开发设计各功能模块，包括：图像识别处理模块、语音识别模块、程序功能模块。

图像识别处理模块，对摄像装置采集到的图像信息进行特征点的提取、筛选、分析，借助云端国学识别标识库的图像信息进行比对，如果匹配成功将获得其ID编号。

语音识别模块，对声音输入装置采集的语音信息进行波谱分析，借助云端的波谱数据进行校验比对，得出语音输入的内容，并与语音标识库的语音信息进行比对，如果匹配成功将获得其ID编号。

程序功能模块，通过所获得的ID编号与国学素材库中的三维模型动画、图文信息、音频信息进行关联。

根据上述增强现实、语音识别的国学三维交互学习系统进行学习的方法，包括以下步骤：

步骤1、创建一套人机交互国学素材库；

步骤2、利用摄像装置获取书页或卡片的空间位置，采集书页或者卡片的图像信息并导入图像识别处理模块；

步骤3、图像识别处理模块对摄像装置采集的图像信息进行特征点的提取、筛选、分析，借助云端国学识别标识库的数据进行图像比对，如果匹配成功将获得其ID编号；

步骤4、程序功能模块利用图像识别处理模块获得的ID编号，与对应的三维模型动画、图文信息、音频信息进行关联，并将对应的三维模型动画定位到空间位置中，完成增强现实的渲染，其中的增强现实技术采用的是现有技术，其原理如图2所示；

步骤5、显示设备将经增强现实技术渲染后的三维模型动画内容和图文信息呈现给用户；声音播放设备将对应的音频信息呈现给用户；

步骤6、声音输入装置采集用户的语音信息并将该语音信息输入语音识别模块；

步骤7、语音识别模块对声音输入装置采集的语音信息进行波谱分析，借助云端的波谱数据进行校验比对，得出语音输入的内容，并与语音标识库的内容比对，如果匹配成功将获得该语音信息的ID编号；

步骤8、程序功能模块利用声音识别模块获得的ID编号，与对应的三维模型动画、图文信息、音频信息进行关联，并将对应的三维模型动画定位到空间位置中，完成增强现实的渲染；显示设备将经增强现实技术渲染后的三维模型动画内容和图文信息呈现给用户；声音播放设备将对应的音频信息呈现给用户；

步骤9、根据步骤7中语音识别模块的比对匹配的结果，如果匹配成功，表明使用者朗读的内容基本正确，以此可以实现对使用者的国学朗读水平进行考评。

这样，就实现了如图1所示的人机交互学习过程，让使用者身处国学教育的情境，理解每个国学知识点的寓意，感受国学的魅力，寓教于乐，在轻松愉快的环境中体验学习的乐趣。

Claims (5)

1.基于增强现实、语音识别的国学三维交互学习系统，其特征在于，包括：至少一张书页或者卡片，其上面的内容是对应的国学知识的图像，该图像作为一个识别标识用于与国学识别标识库中的图像信息进行比对；

一套人机交互国学素材库，包括国学识别标识库、国学语音标识库、国学三维模型动画库、国学图文信息库、国学音频库，其中国学识别标识库、国学语音标识库中各包含一个ID编号的数据字段，该ID编号映射到至少一组三维模型动画、图文信息和音频信息；

摄像装置，用于采集书页或者卡片的图像信息，即识别标识，并导入图像识别处理模块；

图像识别处理模块，将摄像装置采集的图像与国学识别标识库的图像信息进行比对，如果匹配成功将获得其对应的ID编号；

声音输入装置，用于采集用户的语音信息并将该语音信息输入语音识别模块；

语音识别模块，将声音输入装置采集的语音与国学语音标识库的语音信息进行比对，如果匹配成功将获得其对应的ID编号；

程序功能模块，通过所获得的ID编号与国学素材库中的三维模型动画、图文信息、音频信息进行关联；

显示设备，将所获得的ID编号所关联的国学素材库中的三维模型动画、图文信息经增强现实技术渲染后呈现给用户；

声音播放设备，将所获得的ID编号所关联的国学素材库中的音频信息呈现给用户。

2.根据权利要求1所述的基于增强现实、语音识别的国学三维交互学习系统，其特征在于，所述的图像识别处理模块对摄像装置采集到的图像信息进行特征点的提取、筛选、分析，借助云端国学识别标识库的图像信息进行比对，如果匹配成功将获得其ID编号。

3.根据权利要求1所述的基于增强现实、语音识别的国学三维交互学习系统，其特征在于，所述的语音识别模块对声音输入装置采集的语音信息进行波谱分析，借助云端的波谱数据进行校验比对，得出语音输入的内容，并与语音标识库的语音信息进行比对，如果匹配成功将获得其ID编号。

4.根据权利要求1所述的基于增强现实、语音识别的国学三维交互学习系统，其特征在于，所述人机交互国学素材库包括：

国学识别标识库，存储用于在图像识别处理模块中进行比对的图像信息；

国学语音标识库，存储用于在语音识别模块中进行比对的语音信息；

国学三维模型动画库，通过3ds Max或者Maya进行三维模型动画创建，材质纹理处理，进行骨骼绑定、动画处理，最终导出FBX的模型格式文件，并对模型进行特效处理，关联信息处理，等待人机交互时进行调用；

国学图文信息库，整理国学知识体系，将国学内容对应的文字内容、图片信息，以常用的文字格式、图片格式存储，等待人机交互时进行调用；

国学音频库，整理国学知识体系，将国学内容对应的音频信息，以常用的音频格式存储，等待人机交互时进行调用。

5.根据权利要求1所述的基于增强现实、语音识别的国学三维交互学习系统进行学习的方法，其特征在于，包括以下步骤：

步骤一、创建一套人机交互国学素材库；

步骤二、利用摄像装置获取书页或卡片的空间位置，采集书页或者卡片的图像信息并导入图像识别处理模块；

步骤三、图像识别处理模块对摄像装置采集的图像信息进行特征点的提取、筛选、分析，借助云端国学识别标识库的数据进行图像比对，如果匹配成功将获得其ID编号；

步骤四、程序功能模块利用图像识别处理模块获得的ID编号，与对应的三维模型动画、图文信息、音频信息进行关联，并将对应的三维模型动画定位到空间位置中，完成增强现实的渲染；

步骤五、显示设备将经增强现实技术渲染后的三维模型动画内容和图文信息呈现给用户；声音播放设备将对应的音频信息呈现给用户；

步骤六、声音输入装置采集用户的语音信息并将该语音信息输入语音识别模块；

步骤七、语音识别模块对声音输入装置采集的语音信息进行波谱分析，借助云端的波谱数据进行校验比对，得出语音输入的内容，并与语音标识库的内容比对，如果匹配成功将获得该语音信息的ID编号；

步骤八、程序功能模块利用声音识别模块获得的ID编号，与对应的三维模型动画、图文信息、音频信息进行关联，并将对应的三维模型动画定位到空间位置中，完成增强现实的渲染；显示设备将经增强现实技术渲染后的三维模型动画内容和图文信息呈现给用户；声音播放设备将对应的音频信息呈现给用户；

步骤九、根据步骤七中语音识别模块的比对匹配的结果，如果匹配成功，表明使用者朗读的内容基本正确，以此可以实现对使用者的国学朗读水平进行考评。