CN109255990A - 一种基于ar增强现实的教学系统 - Google Patents

Abstract

本申请公开了一种基于AR增强现实的教学系统，其包括教材和用户终端，该用户终端包括用于采集教材中的二维图像的图像采集模块、用于识别图像采集模块采集到的二维图像的识别模块、存储有若干二维图像和三维动画的存储模块、用于根据识别模块的识别结果以播放存储模块中的三维动画的播放模块、用于播放三维动画中的音频的声音模块、用于录制包含用户声音的视频并将视频存储至存储模块中的录屏模块、和用于进行控制的控制模块，控制模块分别与图像采集模块、识别模块、存储模块、播放模块、声音模块、录屏模块电连接以进行控制。借助于本发明的上述技术方案，能更好的激发读者的兴趣，通过生动形象的动画加深读者的印象，以提升阅读效果。

Description

一种基于AR增强现实的教学系统

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种基于AR增强现实的教学系统。

背景技术

增强现实(AugmentedReality，简称AR)，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。传统的产品展示方法，是将产品实物在现场进行展示，这种方式不仅需要在现场准备好产品实物，而且需要考虑诸多问题，包括产品的运输成本(如产品体积较大、产品精密程度较高而具有怕震易碎的特性等)、产品在展示过程中损坏时的紧急预案、展示人员的误操作等。一旦出错，会对所展示的产品产生许多负面影响，也会给企业带来不小的损失。

而利用增强现实技术，将事先准备好的虚拟产品实物模型，利用计算机技术将虚拟模型叠加在真实的展示场景中，并可以添加事先做好的动画特效，从而将合成影像展示给客户，如此一来，就无需将产品实物带到现场，不必考虑产品实物会损坏，也不必担心展示人员的误操作。利用增强现实技术来实现产品展示，可以通过摄像机来拍摄不含产品的展示场景，其中可由展示人员手持一种具有标定功能的参照物品，然后利用增强现实手段，在参照物品上叠加所要展示的展品，并允许添加相应的动画，从而完成生动、自然的产品展示。

所以，可将这项技术应用到教学上，在课堂上展现一定的虚拟场景，使得原本单调的课堂变得丰富多彩，将那些复杂而抽象的概念以形象生动的方式进行说明，从而充分地调动学生的积极性，有效地改善师生之间的互动，并有利于学生对知识的把握和吸收，增强课堂学习效果，提高学习效率，因此，目前急需一种基于AR增强现实的教学系统。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于AR增强现实的教学系统。

为了解决现有技术中的技术问题，本发明公开了一种基于AR增强现实的教学系统，该基于AR增强现实的教学系统包括设置有二维图像的教材、用于识别所述教材中的二维图像并将所述二维图像转换为三维动画并播放的用户终端；

所述用户终端包括用于采集所述教材中的二维图像的图像采集模块、用于识别所述图像采集模块采集到的二维图像的识别模块、存储有若干二维图像和三维动画的存储模块、用于根据所述识别模块的识别结果以播放所述存储模块中的三维动画的播放模块、用于播放三维动画中的音频的声音模块、用于录制包含用户声音的视频并将所述视频存储至所述存储模块中的录屏模块、和用于进行控制的控制模块，所述控制模块分别与图像采集模块、识别模块、存储模块、播放模块、声音模块、录屏模块电连接以进行控制。

在进一步改进中，所述录屏模块包括用于在录屏期间录取所述用户声音的录音单元、用于捕捉构成屏幕中的播放的三维动画的帧图像的捕捉单元、用于对捕捉单元捕捉到的帧图像进行格式转换的格式转换单元、用于根据转换格式后的帧图像和所述录音单元录取的用户声音生成视频的视频生成模块和用于创建视频轨道的创建单元。

在进一步改进中，所述播放模块还包括：

用于将所述三维动画中的三维形象按照预设动作进行响应的响应模块和用于根据用户输入指令将所述三维形象进行响应以实现交互的交互模块。

在进一步改进中，所述识别模块包括图像检测单元、特征提取单元和特征比对单元，所述图像检测单元对采集到的二维图像进行检测，将主体部分从背景部分提取出来；所述特征提取单元通过全局特征和局部特征相结合的方式提取二维图像的特征；所述特征比对单元对所述特征提取单元提取的特征进行分类或组合，以将该二维图像与所述储存模块储存的三维图像相匹配。

在进一步改进中，所述图像检测单元能够识别所述教材中不上色的二维图像。

本发明有益效果：

本发明通过用户终端采集教材上的二维图像，将其转换为三维动画并播放，实现二维图像的三维化、动画化，能更好的激发读者的兴趣，通过生动形象的动画加深读者的印象，以提升阅读效果。此外，其还可在录视频期间，将用户声音录入视频中以与场景融合，从而达到生动的效果，智能、正真实现娱乐教学。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本发明的基于AR增强现实的教学系统的原理示意图；

图2示出了本发明的录屏的流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，该基于AR增强现实的教学系统包括：设置有二维图像的教材、用于识别教材中的二维图像并将二维图像转换为三维动画并播放的用户终端，该教材可包括角色识别卡和音乐卡；用户终端包括用于采集所述教材中的二维图像的图像采集模块、用于识别所述图像采集模块采集到的二维图像的识别模块、存储有若干二维图像和三维动画的存储模块、用于根据所述识别模块的识别结果以播放所述存储模块中的三维动画的播放模块、用于播放三维动画中的音频的声音模块、用于录制包含用户声音的视频并将所述视频存储至所述存储模块中的录屏模块、和用于进行控制的控制模块，所述控制模块分别与图像采集模块、识别模块、存储模块、播放模块、声音模块、录屏模块电连接以进行控制。

借助于本发明的上述技术方案，通过用户终端采集教材上的二维图像，将其转换为三维动画并播放，实现二维图像的三维化、动画化，能更好的激发读者的兴趣，通过生动形象的动画加深读者的印象，以提升阅读效果。同时，图像采集模块采集教材中二维图像信息，经识别模块识别并与存储模块中存储的二维图像进行匹配，根据匹配结果，在控制模块控制下，播放模块和声音模块播放存储模块中对应该二维图像的三维动画图像信息和音频信息，以形成带声音的动画，智能化程度高，识别精度高，识别效率高，播放准确。

在一些实施例中，教材上的二维图像中包括主体部分和背景部分，主体部分为白色，背景部分为红色或蓝色或黄色中的一种或几种，从而主体部分和背景部分色彩差异较大，便于识别模块准确的识别二维图像信息，提高了本发明的识别精度，还包括用于为教材上的二维图像着色的色笔，用户可根据自己的理解，用色笔进行着色，也可以用任意带色彩的小物件粘贴到二维图像上进行着色，以使得本发明更加形象生动，同时通过读者参与的方式激发读者的兴趣。

在一些实施例中，色笔为彩色可擦笔。

在一些实施例中，录屏模块包括用于在录屏期间录制用户声音的录音单元、用于捕捉构成屏幕中的播放的三维动画的帧图像的捕捉单元、用于对捕捉单元捕捉到的帧图像进行格式转换的格式转换单元、用于根据转换格式后的帧图像和录音单元录制的用户声音生成视频的视频生成模块和用于创建视频轨道的创建单元。

在该实施例中，如图2所示，为了便于理解本发明的技术方案，其以流程图的方式进行说明，首先，用户需要对录屏进行授权，在授权不允许的情况下，则退出，在授权允许的情况下，对其进行录屏，随后，通过捕捉单元捕捉构成屏幕中的播放的三维动画的帧图像，并依次创建虚拟屏幕、图形缓存和回调，随后刷新当前图像并复制后续的图像，依次循环，直至用户停止录屏操作，随后，通过格式转换单元对抓取的图像进行格式转换，如将其由RGB转成YUV，对转换后的图像进行编码，随后根据编码后的图像生成视频，并创建视频轨道，此外，在录屏期间，其还可通过录音单元录制用户声音，以将录制的用户声音和视频组合到一起，从而后续可直接或通过比对的方式来播放录制的视频。

在一些实施例中，播放模块还包括：用于将三维动画中的三维形象(例如，人物、动物等)按照预设动作(如摇摆等)进行响应的响应模块和用于根据用户输入指令将三维形象进行响应(如多个动作的结合等)以实现交互的交互模块。

在一个实施例中，识别模块包括图像检测单元、特征提取单元和特征比对单元，图像检测单元对采集到的二维图像进行检测，将主体部分从背景部分提取出来；特征提取单元通过全局特征和局部特征相结合的方式提取二维图像的特征；特征比对单元对特征提取单元提取的特征进行分类或组合，以将该二维图像与储存模块储存的三维图像相匹配。

在一个实施例中，图像检测单元能够识别教材中不上色的二维图像，此外，图像检测单元还能够识别教材中的上色的三维形象，该识别后的三维形象的颜色会跟所涂颜色一致。

借助于本发明的上述技术方案，通过用户终端采集教材上的二维图像，将其转换为三维动画并播放，实现二维图像的三维化、动画化，能更好的激发读者的兴趣，通过生动形象的动画加深读者的印象，以提升阅读效果。此外，其还可在录视频期间，将用户声音录入视频中以与场景融合，从而达到生动的效果，智能、正真实现娱乐教学。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (5)

1.一种基于AR增强现实的教学系统，其特征在于，所述教学系统包括设置有二维图像的教材、用于识别所述教材中的二维图像并将所述二维图像转换为三维动画并播放的用户终端；

所述用户终端包括用于采集所述教材中的二维图像的图像采集模块、用于识别所述图像采集模块采集到的二维图像的识别模块、存储有若干二维图像和三维动画的存储模块、用于根据所述识别模块的识别结果以播放所述存储模块中的三维动画的播放模块、用于播放三维动画中的音频的声音模块、用于录制包含用户声音的视频并将所述视频存储至所述存储模块中的录屏模块、和用于进行控制的控制模块，所述控制模块分别与图像采集模块、识别模块、存储模块、播放模块、声音模块、录屏模块电连接以进行控制。

2.根据权利要求1所述的教学系统，其特征在于，所述录屏模块包括用于在录屏期间录取所述用户声音的录音单元、用于捕捉构成屏幕中的播放的三维动画的帧图像的捕捉单元、用于对捕捉单元捕捉到的帧图像进行格式转换的格式转换单元、用于根据转换格式后的帧图像和所述录音单元录取的用户声音生成视频的视频生成模块和用于创建视频轨道的创建单元。

3.根据权利要求1所述的教学系统，其特征在于，所述播放模块还包括：

用于将所述三维动画中的三维形象按照预设动作进行响应的响应模块和用于根据用户输入指令将所述三维形象进行响应以实现交互的交互模块。

4.根据权利要求1所述的教学系统，其特征在于，所述识别模块包括图像检测单元、特征提取单元和特征比对单元，所述图像检测单元对采集到的二维图像进行检测，将主体部分从背景部分提取出来；所述特征提取单元通过全局特征和局部特征相结合的方式提取二维图像的特征；所述特征比对单元对所述特征提取单元提取的特征进行分类或组合，以将该二维图像与所述储存模块储存的三维图像相匹配。

5.根据权利要求4所述的教学系统，其特征在于，所述图像检测单元能够识别所述教材中不上色的二维图像。