CN106781786A - 一种基于增强现实的立体书城教学系统和方法 - Google Patents

Abstract

本发明公开了一种基于增强现实的立体书城教学系统，包括AR终端模块、AR立体教材模块及教学云平台模块；所述AR终端模块包括PC服务端模块、移动客户端模块及AR‑APP模块；所述AR立体教材模块包括四色课本教材模块及触发点模块；所述教学云平台模块包括用户系统模块、识别模块、资源模块、测试模块及日志模块，主要通过移动设备和纸质图书相结合，利用增强现实技术展示视频和三维模型等多媒体信息，使学习者在阅读纸质教材的同时获取更多直观的信息，帮助知识的理解和传播，该系统将校本教材有机整合，形成校本教材及校本教材资源的生态环境，可以供教师备课、上课、学生自主学习、课前预习、课后学习等行为使用。

Description

一种基于增强现实的立体书城教学系统和方法

技术领域

本发明涉及一种基于增强现实的立体书城教学系统，主要通过移动设备和纸质图书相结合，利用增强现实技术展示视频和三维模型等多媒体信息，使人们在阅读纸质教材的同时获取更多直观的信息，帮助知识的理解和传播，属于信息化教学领域。

背景技术

目前，很多职业院校在示范校的建设过程中积累了一些支撑教师教学的数字化资源，但学校的应用方式大多还是停留在平移性的应用阶段，即只是把书本上的知识原封不动的平移到电子教材中，应用方式也还是采用传统的老师在讲台上对着PPT讲，资源的呈现都是通过PC端播放，学生缺乏个性化的学习路径，教师对于学习者的学习情况也很难做到科学有据的衡量掌握。

随着国家大力推进信息化的进程，很多职业学校已经意识到在基础设施投入初步完成后，真正对教育教学起到实质作用的校本资源和教师信息化能力提升建设刻不容缓。

本发明公开了一种基于增强现实的立体书城教学系统，为准确、快速地了解学习者的学习情况及因材施教创造了条件。

发明内容

本发明的目的在于解决传统教材色彩单调（传统教材黑白色系为主）、重难点知识理解慢、交互性差、无法科学评测等教学问题，提供一种具备延展性、实时性、能快速更新教学资源的立体书城教学系统；其中的四色课本教材模块更是首次创造性的采用项目式教学的方式进行编排，让学习者从任务出发，以一条逻辑主线进行知识点的学习。

本发明提供一种基于增强现实的立体书城教学系统，包括AR终端模块、AR立体教材模块及教学云平台模块；所述AR终端模块包括PC服务端模块、移动客户端模块及AR-APP模块；所述AR立体教材模块包括四色课本教材模块及触发点模块；所述教学云平台模块包括用户系统模块、教材管理模块、识别模块、资源模块、测试模块、答案匹配模块及日志模块。

所述PC服务端模块可以兼容Windows 2008+、centOS 7.1+、Ubuntu 14.04+、RHEL等主流服务器操作系统；所述移动客户端模块包含Android 4.4+ 、IoS 6.0+等操作系统及摄像头模块；所述AR-APP模块为所述立体书城教学系统的移动端口应用APP，进入APP后的教材图像相关信息需要调用教材管理模块来完成。

所述四色课本教材模块包括教材前言、教材内容、参考文献、CMYK四色教材插图及封底二维码，其中教材前言、教材内容及参考文献等文字信息都是按照项目式教学的方式进行编排，让学习者从任务出发，以一条逻辑主线进行知识点的学习，封底二维码供第一次使用立体书城的用户用移动客启端下载AR-APP模块，CMYK四色教材插图具有色彩鲜艳、清晰明了的特点，一改传统教材黑白色系的插图，实物图均由3DMAX软件建模渲染重新制作高清大图，线条图亦是由AI软件重新绘制而成，充分丰富了学习者的感官体验，增加了学习的积极性和主动性；所述触发点模块由很多个触发点图像组成，每个触发点图像对应教材中的某个知识重难点动画资源，事先通过Surf算法已经针对每个触发点图像做好图像匹配，其中Surf算法的核心是Hessian矩阵， Hessian矩阵H是由函数，偏导数组成，式中图像像素为f(x,y)：

H矩阵判别式为：

判别式的值是H矩阵的特征值，根据每一个图像的特征值数值将特征点信息存到识别模块，通过登录移动端口应用APP打开摄像头模块后，扫描对应的触发点可以对识别模块进行遍历，调取已经提前上传到教学云平台模块中资源模块和测试模块的相应内容来进行知识点的学习及评测。

所述用户系统模块包括管理员、教师和学生用户账号信息，三者均可通过账号登录AR-APP模块进行知识点资源的观看和学习，但只有管理员可以给人员分配权限账号，并根据实际情况对触发点关联的资源模块进行调整和更换，相应的资源模块也可以自主替换，并可修改教材管理模块的相关信息，教师无分配权限账号的权利，但可以对资源模块进行相应的调整和更换，并查看学习者的资源观看情况和答题情况，学生只能通过AR-APP模块进行知识点资源的学习和评测，无其它权利；

所述识别模块包括二维码识别、条形码识别、Barcode识别及自然图像识别，可以分别和触发点模块进行关联，当触发点图像是二维码时，将通过Surf算法将二维码的特征点信息存入二维码识别模块，当触发点图像是条形码时，将通过Surf算法将条形码的特征点信息存入条形码识别模块，当触发点图像是Barcode码时，将通过Surf算法将Barcode码的特征点信息存入Barcode识别模块，当触发点图像是自然图像时，将通过Surf算法将自然图像的特征点信息存入自然图像识别模块，当通过摄像头模块扫描相关触发点时，与之相对应的识别模块将调取资源模块和测试模块中匹配好的资源推送到AR-APP中供学习者学习和评测；

所述资源模块包括文档类资源、视频类资源、2D动画资源、3D动画资源及3D仿真资源，文档类资源可以是PDF、Word等主流格式，视频类资源都是16：9宽屏比例 ，支持.mp4、.flv、.mov等主流视频格式，2D动画资源主要指.fla的Flash文件或.mp4文件，3D动画资源目前主要以.mp4文件为主，3D仿真资源以assetbundle类型存储，该类型文件可以进行更换、删除等操作，该类型资源在使用时动态加载到移动客户端；

所述测试模块包括单项选择题、多项选择题、判断题及填空题，其中单项选择题、多项选择题和判断题均可以题干或选项以多媒体资源的形式进行植入，并将答题后的结果实时和答案匹配模块中事先做好的答案进行匹配，并针对某个试题的正确率形成饼状图，方便教师了解学生学习情况；日志模块包括访问记录及测试记录，可统计资源模块和测试模块观看使用及测试情况，根据资源的浏览次数和评测分数进行排序，方便教师了解学生的资源浏览情况及知识掌握情况。

所述答案匹配模块包括选择题匹配模块、判断题匹配模块和填空题匹配模块，其中选择题模块包括单项选择题匹配模块和多项选择题匹配模块，每一种匹配模块都和测试模块对应的试题类型一一对应。

所述教材管理模块包括APP封面图片、APP教材简介、APP教材作者、书城录入excel表格等信息，其中APP封面图片为分辨率为640*480的JPG图片，和AR立体教材的封面一一对应，用户登陆AR-APP模块时可以快速根据APP封面图片进入立体书城教材使用界面，APP教材简介主要是教材的一些介绍文字，帮助学习者了解教材的主要内容，APP教材作者为教材的作者信息，以上三种信息均可登陆管理员和教师账号进行更改，书城录入excel表包含教材知识点的图号、资源名称、章节名称、触发点名称、资源类型、试题类型等信息，通过调用excel表每行每列的信息，可以快速进行触发点模块、识别模块、资源模块、测试模块和答案匹配模块的触发及调用。

本发明的有益效果在于，本发明提供了一种基于增强现实的立体书城教学系统，学习者可通过移动设备和纸质图书相结合，能够展示视频和三维模型等多媒体信息，使人们在阅读纸质教材的同时获取更多直观的信息，帮助知识的理解和传播。该应用将校本教材有机整合，形成校本教材及校本教材资源的生态环境，可以供教师备课、上课、学生自主学习、课前预习、课后学习等行为使用。

附图说明

图1是基于增强现实的立体书城教学系统模块图。

图2是基于增强现实的立体书城教学系统使用流程图

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

参见附图1，所述的一种基于增强现实的立体书城教学系统，其包括AR终端模块、AR立体教材模块及教学云平台模块；所述AR终端模块包括PC服务端模块、移动客户端模块及AR-APP模块；所述AR立体教材模块包括四色课本教材模块及触发点模块；所述教学云平台模块包括用户系统模块、教材管理模块、识别模块、资源模块、测试模块、答案匹配模块及日志模块。

所述PC服务端模块可以兼容Windows 2008+、centOS 7.1+、Ubuntu 14.04+、RHEL等主流服务器操作系统；所述移动客户端模块包含Android 4.4+ 、IoS 6.0+等操作系统及摄像头模块；所述AR-APP模块为所述立体书城教学系统的移动端口应用APP，进入APP后的教材图像相关信息需要调用教材管理模块来完成。

所述四色课本教材模块包括教材前言、教材内容、参考文献、CMYK四色教材插图及封底二维码，其中教材前言、教材内容及参考文献等文字信息都是按照项目式教学的方式进行编排，让学习者从任务出发，以一条逻辑主线进行知识点的学习，封底二维码供第一次使用立体书城的用户用移动客启端下载AR-APP模块，CMYK四色教材插图具有色彩鲜艳、清晰明了的特点，一改传统教材黑白色系的插图，实物图均由3DMAX软件建模渲染重新制作高清大图，线条图亦是由AI软件重新绘制而成，充分丰富了学习者的感官体验，增加了学习的积极性和主动性；所述触发点模块由很多个触发点图像组成，每个触发点图像对应教材中的某个知识重难点动画资源，事先通过Surf算法已经针对每个触发点图像做好图像匹配，其中Surf算法的核心是Hessian矩阵， Hessian矩阵H是由函数，偏导数组成，式中图像像素为f(x,y)：

H矩阵判别式为：

判别式的值是H矩阵的特征值，根据每一个图像的特征值数值将特征点信息存到识别模块，通过登录移动端口应用APP打开摄像头模块后，扫描对应的触发点可以对识别模块进行遍历，调取已经提前上传到教学云平台模块中资源模块和测试模块的相应内容来进行知识点的学习及评测。

所述用户系统模块包括管理员、教师和学生用户账号信息，三者均可通过账号登录AR-APP模块进行知识点资源的观看和学习，但只有管理员可以给人员分配权限账号，并根据实际情况对触发点关联的资源模块进行调整和更换，相应的资源模块也可以自主替换，并可修改教材管理模块的相关信息，教师无分配权限账号的权利，但可以对资源模块进行相应的调整和更换，并查看学习者的资源观看情况和答题情况，学生只能通过AR-APP模块进行知识点资源的学习和评测，无其它权利；

所述识别模块包括二维码识别、条形码识别、Barcode识别及自然图像识别，可以分别和触发点模块进行关联，当触发点图像是二维码时，将通过Surf算法将二维码的特征点信息存入二维码识别模块，当触发点图像是条形码时，将通过Surf算法将条形码的特征点信息存入条形码识别模块，当触发点图像是Barcode码时，将通过Surf算法将Barcode码的特征点信息存入Barcode识别模块，当触发点图像是自然图像时，将通过Surf算法将自然图像的特征点信息存入自然图像识别模块，当通过摄像头模块扫描相关触发点时，与之相对应的识别模块将调取资源模块和测试模块中匹配好的资源推送到AR-APP中供学习者学习和评测；

所述资源模块包括文档类资源、视频类资源、2D动画资源、3D动画资源及3D仿真资源，文档类资源可以是PDF、Word等主流格式，视频类资源都是16：9宽屏比例 ，支持.mp4、.flv、.mov等主流视频格式，2D动画资源主要指.fla的Flash文件或.mp4文件，3D动画资源目前主要以.mp4文件为主，3D仿真资源以assetbundle类型存储，该类型文件可以进行更换、删除等操作，该类型资源在使用时动态加载到移动客户端；

所述测试模块包括单项选择题、多项选择题、判断题及填空题，其中单项选择题、多项选择题和判断题均可以题干或选项以多媒体资源的形式进行植入，并将答题后的结果实时和答案匹配模块中事先做好的答案进行匹配，并针对某个试题的正确率形成饼状图，方便教师了解学生学习情况；日志模块包括访问记录及测试记录，可统计资源模块和测试模块观看使用及测试情况，根据资源的浏览次数和评测分数进行排序，方便教师了解学生的资源浏览情况及知识掌握情况。

所述答案匹配模块包括选择题匹配模块、判断题匹配模块和填空题匹配模块，其中选择题模块包括单项选择题匹配模块和多项选择题匹配模块，每一种匹配模块都和测试模块对应的试题类型一一对应。

所述教材管理模块包括APP封面图片、APP教材简介、APP教材作者、书城录入excel表格等信息，其中APP封面图片为分辨率为640*480的JPG图片，和AR立体教材的封面一一对应，用户登陆AR-APP模块时可以快速根据APP封面图片进入立体书城教材使用界面，APP教材简介主要是教材的一些介绍文字，帮助学习者了解教材的主要内容，APP教材作者为教材的作者信息，以上三种信息均可登陆管理员和教师账号进行更改，书城录入excel表包含教材知识点的图号、资源名称、章节名称、触发点名称、资源类型、试题类型等信息，通过调用excel表每行每列的信息，可以快速进行触发点模块、识别模块、资源模块、测试模块和答案匹配模块的触发及调用。

参见附图2，基于增强现实的立体书城教学方法，其具体步骤如下：

（1）用户先在移动终端通过扫描AR立体教材封底部分二维码图标或从相关的应用商店下载AR-APP；

（2）在教学云平台模块中，管理员通过点击新建或点击导入功能，可手动输入或自动导入按模板输入的用户，注册成功后就可以用该账号进行登录使用；

（3）管理员或教师将制作完成的资源、测试题及答案上传至教学云平台的资源模块、测试模块和答案匹配模块；

（4）管理员或教师将整理完成的书城录入excel表格、APP封面图片、APP教材作者、APP教材简介相关信息导入教材管理模块；

（4）教师或者学生在AR-APP登录界面输入已经建立好的账号和密码信息进行登陆查看；

（5）登陆成功后进入立体书城教学系统，进入教材使用界面后，根据上传到教材管理模块的APP封面图片可以快速找到需要学习的教材信息，进入教材后通过摄像头模块扫描AR立体教材中的触发点；

（6）AR-APP会根据所扫描的触发点类型关联相对应的识别模块，然后调取资源模块和测试模块中的对应资源及测试题，当出现播放按扭时，点击播放相关资源，资源播放后弹出测试题进行评测考核；

（7）当学习者观看完资源并提交测试题后会自动调取答案匹配模块相关信息，教师可以实时的查看学习者答题的正确率以调整下一步教学策略，同样在教学云平台的日志模块下可以实时查看所有学习者的资源观看次数及测试题答题情况。

以上是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均属于发明技术方案的范围内。

Claims (10)

1.一种基于增强现实的立体书城教学系统，包括AR终端模块、AR立体教材模块及教学云平台模块；所述AR终端模块包括PC服务端模块、移动客户端模块及AR-APP模块，其特征在于：所述AR立体教材模块包括四色课本教材模块及触发点模块；所述教学云平台模块包括用户系统模块、教材管理模块、识别模块、资源模块、测试模块及日志模块；

所述四色课本教材模块包括教材前言、教材内容、参考文献、CMYK四色教材插图及封底二维码，其中教材前言、教材内容及参考文献等文字信息均按照项目式教学的方式进行编排，封底二维码供第一次使用立体书城的用户用移动客启端下载AR-APP模块；CMYK四色教材插图均由3DMAX软件建模渲染制作成高清大图，线条图由AI软件绘制而成；

所述触发点模块通过被摄像头模块扫描后可以调取教学云平台模块中资源模块和测试模块的相应内容; 所述触发点模块由很多个触发点图像组成，每个触发点图像对应教材中的某个知识重难点动画资源。

2.根据权利要求1所述的一种基于增强现实的立体书城教学系统，其特征在于：所述用户系统模块包括管理员、教师和学生用户账号信息，三者均可通过账号登录AR-APP模块进行知识点资源的观看和学习，但只有管理员可以给人员分配权限账号，并根据实际情况对触发点关联的资源模块进行调整和更换，相应的资源模块也可以自主替换，并可修改教材管理模块的相关信息，教师无分配权限账号的权力，但可以对资源模块进行相应的调整和更换，并查看学习者的资源观看情况和答题情况，学生只能通过AR-APP模块进行知识点资源的学习和评测，无其它权力。

3.根据权利要求2所述的一种基于增强现实的立体书城教学系统，其特征在于：所述教材管理模块包括APP封面图片、APP教材简介、APP教材作者、书城录入excel表格等信息；其中APP封面图片为分辨率为640*480的JPG图片，和AR立体教材的封面一一对应，用户登陆AR-APP模块时可以快速根据APP封面图片进入立体书城教材使用界面；APP教材简介主要是教材的一些介绍文字，帮助学习者了解教材的主要内容；APP教材作者为教材的作者信息；所述APP封面图片、APP教材简介、APP教材作者的具体信息均可登陆管理员或教师账号进行更改；书城录入excel表包含教材知识点的图号、资源名称、章节名称、触发点名称、资源类型、试题类型等信息，通过调用excel表每行每列的信息，可以快速进行触发点模块、识别模块、资源模块、测试模块和答案匹配模块的触发及调用。

4.根据权利要求3所述的一种基于增强现实的立体书城教学系统，其特征在于：所述识别模块包括二维码识别、条形码识别、Barcode识别及自然图像识别，可以分别和触发点模块进行关联，当触发点图像是二维码时，将通过Surf算法将二维码的特征点信息存入二维码识别模块；当触发点图像是条形码时，将通过Surf算法将条形码的特征点信息存入条形码识别模块；当触发点图像是Barcode码时；将通过Surf算法将Barcode码的特征点信息存入Barcode识别模块；当触发点图像是自然图像时，将通过Surf算法将自然图像的特征点信息存入自然图像识别模块；当通过摄像头模块扫描相关触发点时，与之相对应的识别模块将调取资源模块和测试模块中匹配好的资源推送到AR-APP中供学习者学习和评测。

5.根据权利要求4所述的一种基于增强现实的立体书城教学系统，其特征在于：所述资源模块包括文档类资源、视频类资源、2D动画资源、3D动画资源及3D仿真资源，文档类资源可以是PDF、Word等主流格式，视频类资源都是16：9宽屏比例 ，支持.mp4、.flv、.mov等主流视频格式，2D动画资源主要指.fla的Flash文件或.mp4文件，3D动画资源目前主要以.mp4文件为主，3D仿真资源以assetbundle类型存储，该类型文件可以进行更换、删除等操作，该类型资源在使用时动态加载到移动客户端。

6.根据权利要求5所述的一种基于增强现实的立体书城教学系统，其特征在于：所述测试模块包括单项选择题、多项选择题、判断题及填空题，其中单项选择题、多项选择题和判断题均可以题干或选项以多媒体资源的形式进行植入，并将答题后的结果实时和答案匹配模块中事先做好的答案进行匹配，并针对某个试题的正确率形成饼状图，方便教师了解学生学习情况；所述日志模块包括访问记录及测试记录，可统计资源模块和测试模块观看使用及测试情况，根据资源的浏览次数和评测分数进行排序，方便教师了解学生的资源浏览情况及知识掌握情况。

7.根据权利要求1~6任一项权利要求所述的一种基于增强现实的立体书城教学系统，其特征在于：所述的立体书城教学系统还包括答案匹配模块；所述答案匹配模块包括选择题匹配模块、判断题匹配模块和填空题匹配模块，其中选择题模块包括单项选择题匹配模块和多项选择题匹配模块，每一种匹配模块都和测试模块对应的试题类型一一对应。

8.根据权利要求4所述的一种基于增强现实的立体书城教学系统，其特征在于：所述Surf算法的核心是Hessian矩阵， Hessian矩阵H是由函数，偏导数组成，式中图像像素为f(x,y)：

H矩阵判别式为：

判别式的值是H矩阵的特征值，根据每一个图像的特征值数值将特征点信息存到识别模块，通过登录移动端口应用APP打开摄像头模块后，扫描对应的触发点可以对识别模块进行遍历，调取已经提前上传到教学云平台模块中资源模块和测试模块的相应内容来进行知识点的学习及评测。

9.根据权利要求7所述的一种基于增强现实的立体书城教学系统，其特征在于：所述PC服务端模块可以兼容Windows 2008+、centOS 7.1+、Ubuntu 14.04+、RHEL等主流服务器操作系统；所述移动客户端模块包含Android 4.4+ 、IoS 6.0+等操作系统及摄像头模块；所述AR-APP模块为所述立体书城教学系统的移动端口应用APP。

10.一种采用权利要求1~9任一项权利要求所述的基于增强现实的立体书城教学系统的方法，其特征在于：

（1）用户先在移动终端通过扫描AR立体教材封底部分二维码图标或从相关的应用商店下载AR-APP；

（2）在教学云平台模块中，管理员通过点击新建或点击导入功能，可手动输入或自动导入按模板输入的用户，注册成功后就可以用该账号进行登录使用；

（3）管理员或教师将制作完成的资源、测试题及答案上传至教学云平台的资源模块、测试模块和答案匹配模块；

（4）管理员或教师将整理完成的书城录入excel表格、APP封面图片、APP教材作者、APP教材简介相关信息导入教材管理模块；

（4）教师或者学生在AR-APP登录界面输入已经建立好的账号和密码信息进行登陆查看；

（5）登陆成功后进入立体书城教学系统，进入教材使用界面后，根据上传到教材管理模块的APP封面图片可以快速找到需要学习的教材信息，进入教材后通过摄像头模块扫描AR立体教材中的触发点；

（6）AR-APP会根据所扫描的触发点类型关联相对应的识别模块，然后调取资源模块和测试模块中的对应资源及测试题，当出现播放按扭时，点击播放相关资源，资源播放后弹出测试题进行评测考核；

（7）当学习者观看完资源并提交测试题后会自动调取答案匹配模块相关信息，教师可以实时的查看学习者答题的正确率以调整下一步教学策略，同样在教学云平台的日志模块下可以实时查看所有学习者的资源观看次数及测试题答题情况。