CN106601043A - 一种基于增强现实的多媒体互动教育设备及方法 - Google Patents
一种基于增强现实的多媒体互动教育设备及方法 Download PDFInfo
- Publication number
- CN106601043A CN106601043A CN201610978354.2A CN201610978354A CN106601043A CN 106601043 A CN106601043 A CN 106601043A CN 201610978354 A CN201610978354 A CN 201610978354A CN 106601043 A CN106601043 A CN 106601043A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- image
- threedimensional model
- processor
- multimedia interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Abstract
本发明涉及一种基于增强现实的多媒体互动教育设备，包括第一摄像头、处理器和显示屏；第一摄像头用于采集现实场景的图像并发送至处理器；处理器用于接收图像数据并在图像中包含符合预定规则的标识信息时，识别标识信息，生成与标识信息对应的三维模型，并将三维模型与现实场景的图像进行叠加，生成第一增强现实图像；显示屏用于显示第一增强现实图像。本发明显示效果生动、交互体验丰富、娱乐性强，能够有效调动儿童的学习兴趣，寓教于乐。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的多媒体互动教育设备及方法。
背景技术
目前，针对儿童的玩教具主要分为传统类，如识字卡片、识图卡片等，还有电子设备类，如早教机、点读笔、电子书、学习软件等，这些玩教具都属于二维平面的交互方式，画面不够生动，用户的参与度低，缺乏娱乐性和趣味性，难以调动儿童学习的主动性。
增强现实(Augmented Reality，简称AR)，增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
发明内容
本发明所要解决的技术问题是提供一种基于增强现实的多媒体互动教育设备，把增强现实技术具有的显示效果生动、交互体验丰富、娱乐性强等优点引入玩教具中，能够有效调动儿童的学习兴趣，达到寓教于乐的目的。
本发明解决上述技术问题的技术方案如下：一种基于增强现实的多媒体互动教育设备，包括第一摄像头、处理器和显示屏；
所述第一摄像头，用于采集现实场景的图像并发送至处理器；
所述处理器，用于接收所述图像数据，并且在图像中包含符合预定规则的标识信息时，识别所述标识信息，生成与所述标识信息对应的三维模型，并将所述三维模型与所述现实场景的图像进行叠加，生成第一增强现实图像；
所述显示屏，用于显示所述第一增强现实图像。
本发明的有益效果是：利用增强现实技术对摄像头拍摄的现实场景进行处理，生成立体的三维模型并显示，效果生动，能够有效调动儿童的学习兴趣，寓教于乐。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述显示屏为触摸屏，所述处理器还用于当用户在触摸屏上对所述三维模型进行操作时，对用户的操作信息进行分析，并改变所述三维模型的状态。
采用上述进一步方案的有益效果是：允许用户对三维模型进行个性化的操作，丰富了交互体验，增强了娱乐性。
进一步，还包括存储器和扬声器，所述处理器用于在改变所述三维模型的状态时从所述存储器中调取相应的语音信息，并通过扬声器播放所述语音信息。
采用上述进一步方案的有益效果是：通过实时的语音播放，进一步丰富了交互体验。
进一步，还包括第二摄像头，用于采集显示屏一侧的现实场景的图像并发送至所述处理器，处理器将三维模型与所述现实场景的图像进行叠加，生成增强现实图像。
采用上述进一步方案的有益效果是：可以同时显示用户的自拍头像和三维模型，增强娱乐性。
进一步，还包括存储器，用于存储所述增强现实图像。
采用上述进一步方案的有益效果是：用户可以保存增强现实图像。
一种基于增强现实的多媒体互动教育方法，包括：
采集现实场景的图像；
在图像中包含符合预定规则的标识信息时，识别图像数据中的标识信息，生成与所述标识信息对应的三维模型，并将所述三维模型与所述现实场景的图像进行叠加，生成增强现实图像；
显示所述增强现实图像。
进一步，当用户对所述三维模型进行操作时，对用户的操作信息进行分析，并改变所述三维模型的状态。
进一步，还包括：在改变所述三维模型的状态时调取相应的语音信息并播放所述语音信息。
进一步，还包括采集显示屏一侧的现实场景的图像并发送至所述处理器，处理器将三维模型与所述现实场景的图像进行叠加，生成增强现实图像。
进一步，还包括:存储所述增强现实图像。
附图说明
图1为本发明实施例提供的一种基于增强现实的多媒体互动教育设备的正面外观结构示意图；
图2为本发明实施例提供的一种基于增强现实的多媒体互动教育设备的背面外观结构示意图；
图3为本发明实施例提供的一种基于增强现实的多媒体互动教育设备的结构组成示意图；
附图中，各标号所代表的部件列表如下：
1、触摸屏，2、扬声器，3、第二摄像头，4、第一摄像头，5、TF卡卡槽，6、USB接口，7、开关键，8、音量“+”键，9、音量“－”键，10、手柄。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1和图2所示，本发明实施例提供的一种基于增强现实的多媒体互动教育设备，正面设有触摸屏1、扬声器2和第二摄像头3，背面有第一摄像头4，一侧有TF卡卡槽5和USB接口6，另一侧有开关键7、音量“+”键8和音量“－”键9。
目前，市面上已出现了用于开发AR应用的AR引擎，可供使用者根据需要开发出基于增强现实技术的各类产品，其基本原理是，用户在引擎中建立识别模版，并导入设计好的三维模型，本设备采用easyAR作为AR引擎进行开发，AR引擎可以实现对现实场景中包含的按照预定规则设计的标识信息的识别，进而分析出对应的三维模型，用户就可以借助于安装有该AR引擎的设备实现增强现实的显示效果。另外，用户可以在触摸屏上对三维模型进行操作，如点击、缩放、旋转等。本设备基于easyAR引擎进行二次开发，将标识信息与积木、图片、识字卡等进行结合，在引擎中建立识别模版，并对三维模型的显示效果进行渲染设计后导入引擎中，这样，借助AR引擎就可以实现将增强现实技术引入传统的玩教具中的目的。
图3是本发明实施例的结构组成示意图，用户启动设备的AR引擎后，通过第一摄像头对准含有标识信息的积木，处理器分析出对应预存的三维模型。进一步，处理器计算出积木在空间坐标系中的二维空间方位信息，并根据第一摄像头的标定参数，将二维空间方位信息换算为第一摄像头空间坐标系的三维空间方位信息。进一步，处理器根据该三维模型方位信息，将三维模型与现实场景叠加后显示在触摸屏上。
进一步，用户可以对三维模型进行点击、缩放或旋转等操作，扬声器可以发出语音，如中英文语音介绍、吼叫等，或者触发相关的动画，
进一步，用户可以切换使用第二摄像头进行自拍，这样，自拍画面与三维模型同时显示在触摸屏上，增加趣味性，自拍的图像存储在TF卡中，方便用户进行拷贝备份。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于增强现实的多媒体互动教育设备，其特征在于，包括第一摄像头、处理器和显示屏；
所述第一摄像头，用于采集现实场景的图像并发送至处理器；
所述处理器，用于接收所述图像数据，并且在图像中包含符合预定规则的标识信息时，识别所述标识信息，生成与所述标识信息对应的三维模型，并将所述三维模型与所述现实场景的图像进行叠加，生成第一增强现实图像；
所述显示屏，用于显示所述第一增强现实图像。
2.根据权利要求1所述的基于增强现实的多媒体互动教育设备，其特征在于，所述显示屏为触摸屏，所述处理器还用于当用户在触摸屏上对所述三维模型进行操作时，对用户的操作信息进行分析，并改变所述三维模型的状态。
3.根据权利要求2所述的基于增强现实的多媒体互动教育设备，其特征在于，还包括存储器和扬声器，所述处理器用于在生成与所述标识信息对应的三维模型或改变所述三维模型的状态时从所述存储器中调取相应的语音信息，并通过扬声器播放所述语音信息。
4.根据权利要求3所述的基于增强现实的多媒体互动教育设备，其特征在于，还包括第二摄像头，用于采集显示屏一侧的现实场景的图像并发送至所述处理器，处理器用于在将第一摄像头切换为第二摄像头时，将三维模型与所述显示屏一侧的现实场景的图像进行叠加，生成第二增强现实图像。
5.根据权利要求4所述的基于增强现实的多媒体互动教育设备，其特征在于，所述存储器还用于存储所述第一增强现实图像和第二增强现实图像。
6.一种基于增强现实的多媒体互动教育方法，其特征在于，包括：
采集现实场景的图像；
在图像中包含符合预定规则的标识信息时，识别图像数据中的标识信息，生成与所述标识信息对应的三维模型，并将所述三维模型与所述现实场景的图像进行叠加，生成增强现实图像；
显示所述增强现实图像。
7.根据权利要求6所述的基于增强现实的多媒体互动教育方法，其特征在于，当用户对所述三维模型进行操作时，对用户的操作信息进行分析，并改变所述三维模型的状态。
8.根据权利要求7所述的基于增强现实的多媒体互动教育方法，其特征在于，还包括：在改变所述三维模型的状态时调取相应的语音信息并播放所述语音信息。
9.根据权利要求6所述的基于增强现实的多媒体互动教育方法，其特征在于，还包括采集显示屏一侧的现实场景的图像并发送至所述处理器，处理器将三维模型与所述现实场景的图像进行叠加，生成增强现实图像。
10.根据权利要求6或9所述的基于增强现实的多媒体互动教育方法，其特征在于，还包括:存储所述增强现实图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610978354.2A CN106601043A (zh) | 2016-11-07 | 2016-11-07 | 一种基于增强现实的多媒体互动教育设备及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610978354.2A CN106601043A (zh) | 2016-11-07 | 2016-11-07 | 一种基于增强现实的多媒体互动教育设备及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106601043A true CN106601043A (zh) | 2017-04-26 |
Family
ID=58590819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610978354.2A Pending CN106601043A (zh) | 2016-11-07 | 2016-11-07 | 一种基于增强现实的多媒体互动教育设备及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106601043A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107029424A (zh) * | 2017-05-10 | 2017-08-11 | 北京派希教育科技有限公司 | 一种用于增强现实的积木搭建系统及方法 |
| CN107589846A (zh) * | 2017-09-20 | 2018-01-16 | 歌尔科技有限公司 | 场景切换方法、装置及电子设备 |
| CN107888934A (zh) * | 2017-11-22 | 2018-04-06 | 广东电网有限责任公司教育培训评价中心 | 一种基于ar技术的变电技能直播系统 |
| CN108053493A (zh) * | 2017-12-25 | 2018-05-18 | 北京软通智城科技有限公司 | 数字模型获得方法及装置 |
| CN108325206A (zh) * | 2017-12-29 | 2018-07-27 | 武汉市马里欧网络有限公司 | 拼板模型模拟搭建系统 |
| CN108725044A (zh) * | 2018-05-21 | 2018-11-02 | 贵州民族大学 | 一种机械电子教学制图设备 |
| CN108766041A (zh) * | 2018-05-25 | 2018-11-06 | 苏州市职业大学 | 一种基于ar技术的教学用模拟实验设备及方法 |
| CN109215413A (zh) * | 2018-09-21 | 2019-01-15 | 福州职业技术学院 | 一种基于移动增强现实的模具设计教学方法、系统及移动终端 |
| WO2019015134A1 (zh) * | 2017-07-21 | 2019-01-24 | 深圳市鹰硕技术有限公司 | 一种针对儿童的交互情景教学系统 |
| CN109448472A (zh) * | 2018-12-19 | 2019-03-08 | 商丘师范学院 | 一种旅游英语模拟展示讲解平台 |
| CN110880139A (zh) * | 2019-09-30 | 2020-03-13 | 珠海随变科技有限公司 | 一种商品展示方法、装置、终端、服务器及存储介质 |
| CN112017129A (zh) * | 2020-08-28 | 2020-12-01 | 湖南尚珂伊针纺有限公司 | 一种高效率袜子数字模型生产装置 |
| CN113658343A (zh) * | 2021-07-27 | 2021-11-16 | 珠海市大悦科技有限公司 | 多媒体互动方法、装置及可读介质 |
| CN114167744A (zh) * | 2021-12-23 | 2022-03-11 | 四川启睿克科技有限公司 | 基于ar的家庭智能家电管理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
| CN203260212U (zh) * | 2013-03-22 | 2013-10-30 | 熊剑明 | 增强现实三维互动学习机 |
| US20130293580A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
| CN104102412A (zh) * | 2014-07-24 | 2014-10-15 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| CN205302690U (zh) * | 2015-11-06 | 2016-06-08 | 江苏风雷文化传媒有限公司 | 一种基于增强现实的儿童床上早教系统 |
| CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习系统及方法 |
-
2016
- 2016-11-07 CN CN201610978354.2A patent/CN106601043A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130293580A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
| CN203260212U (zh) * | 2013-03-22 | 2013-10-30 | 熊剑明 | 增强现实三维互动学习机 |
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
| CN104102412A (zh) * | 2014-07-24 | 2014-10-15 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| CN205302690U (zh) * | 2015-11-06 | 2016-06-08 | 江苏风雷文化传媒有限公司 | 一种基于增强现实的儿童床上早教系统 |
| CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习系统及方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107029424A (zh) * | 2017-05-10 | 2017-08-11 | 北京派希教育科技有限公司 | 一种用于增强现实的积木搭建系统及方法 |
| WO2019015134A1 (zh) * | 2017-07-21 | 2019-01-24 | 深圳市鹰硕技术有限公司 | 一种针对儿童的交互情景教学系统 |
| CN107589846A (zh) * | 2017-09-20 | 2018-01-16 | 歌尔科技有限公司 | 场景切换方法、装置及电子设备 |
| CN107888934A (zh) * | 2017-11-22 | 2018-04-06 | 广东电网有限责任公司教育培训评价中心 | 一种基于ar技术的变电技能直播系统 |
| CN108053493A (zh) * | 2017-12-25 | 2018-05-18 | 北京软通智城科技有限公司 | 数字模型获得方法及装置 |
| CN108053493B (zh) * | 2017-12-25 | 2022-03-01 | 北京软通智慧城市科技有限公司 | 数字模型获得方法及装置 |
| CN108325206A (zh) * | 2017-12-29 | 2018-07-27 | 武汉市马里欧网络有限公司 | 拼板模型模拟搭建系统 |
| CN108725044A (zh) * | 2018-05-21 | 2018-11-02 | 贵州民族大学 | 一种机械电子教学制图设备 |
| CN108766041A (zh) * | 2018-05-25 | 2018-11-06 | 苏州市职业大学 | 一种基于ar技术的教学用模拟实验设备及方法 |
| CN109215413A (zh) * | 2018-09-21 | 2019-01-15 | 福州职业技术学院 | 一种基于移动增强现实的模具设计教学方法、系统及移动终端 |
| CN109448472A (zh) * | 2018-12-19 | 2019-03-08 | 商丘师范学院 | 一种旅游英语模拟展示讲解平台 |
| CN110880139A (zh) * | 2019-09-30 | 2020-03-13 | 珠海随变科技有限公司 | 一种商品展示方法、装置、终端、服务器及存储介质 |
| CN110880139B (zh) * | 2019-09-30 | 2021-03-02 | 珠海必要工业科技股份有限公司 | 一种商品展示方法、装置、终端、服务器及存储介质 |
| CN112017129A (zh) * | 2020-08-28 | 2020-12-01 | 湖南尚珂伊针纺有限公司 | 一种高效率袜子数字模型生产装置 |
| CN113658343A (zh) * | 2021-07-27 | 2021-11-16 | 珠海市大悦科技有限公司 | 多媒体互动方法、装置及可读介质 |
| CN114167744A (zh) * | 2021-12-23 | 2022-03-11 | 四川启睿克科技有限公司 | 基于ar的家庭智能家电管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106601043A (zh) | 一种基于增强现实的多媒体互动教育设备及方法 | |
| Machidon et al. | Virtual humans in cultural heritage ICT applications: A review | |
| CN108389249B (zh) | 一种多兼容性的vr/ar空间教室及其构建方法 | |
| Zhang et al. | The application of virtual reality technology in physical education teaching and training | |
| JP6683864B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| CN108668168A (zh) | 基于Unity 3D的安卓VR视频播放器及其设计方法 | |
| Schraffenberger | Arguably augmented reality: relationships between the virtual and the real | |
| Ebisu et al. | Building a Feedback Loop between Electrical Stimulation and Percussion Learning | |
| Asaad | Virtual reality and augmented reality technologies: A closer look. | |
| Kelley et al. | The artistic approach to virtual reality | |
| Tang et al. | Learning to create 3D models via an augmented reality smartphone interface | |
| CN111840999A (zh) | 一种基于立体实物图形识别的游戏教育方法 | |
| CN108815845A (zh) | 人机交互的信息处理方法及装置、计算机设备及可读介质 | |
| CN109671317B (zh) | 基于ar的脸谱互动教学方法 | |
| CN206863691U (zh) | 一种基于增强现实和虚拟现实的智能交互演示系统 | |
| Chen et al. | Research on augmented reality system for childhood education reading | |
| CN205721737U (zh) | 一种古画立体体验装置 | |
| JP6892478B2 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| Leung et al. | A multi-user 3-D virtual environment with interactive collaboration and shared whiteboard technologies | |
| JP2021009351A (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| Gholap et al. | Past, present, and future of the augmented reality (ar)-enhanced interactive techniques: A survey | |
| Song | Application of computer action simulation in football teaching | |
| CN206271213U (zh) | 一种基于增强现实的多媒体互动教育设备 | |
| Aurelia et al. | A survey on mobile augmented reality based interactive, collaborative and location based storytelling | |
| Sicaru et al. | Computer Gaming for the Visually Impaired--Status and Perspectives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |