CN108986569A - 一种桌面ar交互学习方法及装置 - Google Patents

一种桌面ar交互学习方法及装置 Download PDF

Info

Publication number
CN108986569A
CN108986569A CN201810974445.8A CN201810974445A CN108986569A CN 108986569 A CN108986569 A CN 108986569A CN 201810974445 A CN201810974445 A CN 201810974445A CN 108986569 A CN108986569 A CN 108986569A
Authority
CN
China
Prior art keywords
card
desktop
requirements
meet
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810974445.8A
Other languages
English (en)
Inventor
王可馨
卢延青
金礼
罗文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Playing Pupil Technology Co Ltd
Original Assignee
Shenzhen Playing Pupil Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Playing Pupil Technology Co Ltd filed Critical Shenzhen Playing Pupil Technology Co Ltd
Priority to CN201810974445.8A priority Critical patent/CN108986569A/zh
Publication of CN108986569A publication Critical patent/CN108986569A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种桌面AR交互学习方法及装置，该方法包括：通过屏幕显示及语音提示，引导在桌面指定的位置摆放卡片；通过摄像头采集摆放有卡片的桌面图像，利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，进行相应的屏幕显示及语音提示。由于利用摄像头追踪儿童在桌面操作实物教具的过程，通过图像分析，判断操作是否符合预设的要求，提供了一种全新的智能化教育交互方式，可实现孩子真正意义上通过“动手”与电子屏幕进行互动，让孩子在玩耍过程中学习到能用的知识点，使其既获得物理世界的触感，又通过电子屏幕得到高质量的数字内容教育。

Description

一种桌面AR交互学习方法及装置
技术领域
本发明涉及儿童教育辅助装置技术领域，具体涉及一种桌面AR交互学习方法及装置。
背景技术
在现在家庭越来越注重幼儿教育，在国家教育智能化的总体方针下，越来越多的智能设备被用于辅助教育。当今社会，很多孩子每周会花一些时间玩耍平板电脑进行一些启蒙学习，比如：认识数字、字母，或练习拼图等。这些玩耍中，绝大多数时候只需要孩子在屏幕上点击和拖拽即可，这种简单的交互方式虽然直观，但对儿童，特别是低龄儿童的触觉、手脑协调等基本能力发展是不利的，过度使用甚至会阻碍儿童对物理世界的认知。
发明内容
本申请提供一种桌面AR交互学习方法及装置，利用摄像头追踪儿童在桌面操作实物教具的过程，通过图像分析，判断操作是否符合预设的要求，提供了一种全新的智能化教育交互方式。
根据第一方面，本申请提供一种桌面AR交互学习方法，包括：
通过屏幕显示及语音提示，引导在桌面指定的位置摆放卡片；
通过摄像头采集摆放有卡片的桌面图像，利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，进行相应的屏幕显示及语音提示。
在一些实施例，所述卡片为矩形。
在一些实施例，该方法包括：
通过提取所采集的图像中边框直线，在边框直线中寻找预设大小的矩形框，根据矩形框的数量确定卡片的数量；
识别每个矩形框中卡片上的字符，确定卡片的内容信息是否正确；
识别所述矩形框中预设标志的位置，确定卡片放置的方向是否符合要求；
根据卡片的内容信息以及预设标志的位置信息，确定不同卡片之间的相对位置是否符合要求。
在一些实施例，所述预设标志为logo。
根据第二方面，本申请提供一种桌面AR交互学习装置，包括：
卡片，用于绘制文字、字母或数字信息；
显示器，用于进行屏幕显示，引导在桌面指定的位置摆放卡片；
语音模块，用于进行语音提示，引导在桌面指定的位置摆放卡片；
摄像头，用于采集桌面所摆放的卡片图像；
处理器，用于利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，使得显示器进行相应的屏幕显示和语音模块进行相应的语音提示。
在一些实施例，所述桌面指定的位置为摄像头正下方。
根据第三方面，本申请提供一种桌面AR交互学习装置，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如第一方面所述的方法。
根据第四方面，本申请提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如第一方面所述的方法。
依据上述实施例，本申请的桌面AR交互学习方法及装置利用摄像头追踪儿童在桌面操作实物教具的过程，通过图像分析，判断操作是否符合预设的要求，提供了一种全新的智能化教育交互方式，可实现孩子真正意义上通过“动手”与电子屏幕进行互动，让孩子在玩耍过程中学习到能用的知识点，使其既获得物理世界的触感，又通过电子屏幕得到高质量的数字内容教育。
附图说明
图1为本申请提供的桌面AR交互学习方法流程图；
图2为一种实施例的桌面AR交互学习过程示意图；
图3为一种实施例的桌面AR交互学习装置结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
根据蒙台梭利教育理念以及教育部出版《3-6岁儿童学习与发展指南》，为培养孩子动眼动脑动手的能力，本申请提供一种桌面AR交互学习方法，可实现孩子真正意义上通过“动手”与电子屏幕进行互动，让孩子在玩耍过程中学习到能用的知识点，使其既获得物理世界的触感，又通过电子屏幕得到高质量的数字内容教育。AR(AugmentedReality)，全称增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。桌面AR互动方法，即在教学时的桌面场景下，用AR技术与场景中的教具、教辅互动的方法，是通过设备(如平板电脑)的摄像头追踪儿童在桌面操作实物教具的过程，通过人工智能(AI，ArtificialIntelligence)的图像分析方法，判断儿童是否按照屏幕的引导提示，在指定的区域摆放了符合内容要求的卡片，是一种智能化的教育交互方式。
请参考图1，本申请提供一种桌面AR交互学习方法，该方法包括步骤：
S1:通过屏幕显示及语音提示，引导在桌面指定的位置(通常为摄像头正下方)摆放卡片；所摆放的卡片需符合数量、内容、位置的要求，即需按照指定的数量、指定的图案以及卡片之间的相对位置符合要求来摆放卡片。
S2:通过摄像头采集摆放有卡片的桌面图像，利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，进行相应提示。
参考图2，在一些实施例，卡片为矩形。具体地，步骤S2包括：
S21:通过提取所采集的图像中边框直线，在边框直线中寻找预设大小的矩形框，根据矩形框的数量确定卡片的数量，同时确定各个位置是否放置了卡片。
S22:识别每个矩形框中卡片上的字符，确定卡片的内容信息是否正确，即是否与屏幕显示及语音提示的内容相符，卡片的内容信息包括：文字、字母或数字等；具体地，卡片的内容信息可包括：拼音、中国汉字、大写英文字母、小写英文字母、阿拉伯数字、图案形象等。
S23:识别所述矩形框中预设标志(比如：logo)的位置，确定卡片放置的方向是否符合要求。
S24:根据卡片的内容信息以及预设标志的位置信息，确定不同卡片之间的相对位置是否符合要求，包括：卡片之间的上下位置关系和左右位置关系；算法层面上可以对卡片进行精准定位，精确度大概在1-5个pixel，结合实际的成像系统，会对应一个物理上的精确度。
由于步骤S2的图像分析方法先检测图像中各个位置的卡片，再对每张卡片进行识别，所以可以支持多张卡片的交互，这与现有技术(如：EasyAR)不同，不再识别整张图像是什么，而是分别识别单张卡片的内容。
而且，与现有的卡片识别算法速度慢、需要联网运行、存在网络延时现象不同，本申请的卡片识别算法支持在客户端上单机运行，可不联网使用，不存在网络延时的问题，体验更好。
上述方法中，通过屏幕引导和语音提示，指引儿童在桌面摆放卡片，其中：
每摆放任意一张卡片，若内容及方向摆放正确时，屏幕中出现相应正确提示；若内容或方向摆放错误时，屏幕中出现相应错误提示，引导更换卡片。
当把多张卡片摆放完整，将对卡片摆放的位置进行校验，若位置正确摆放，则完成对应的知识教学；若存在位置摆放错误，则对错误之处提示指出，引导移动卡片位置。
参考图3，相应地，本申请还提供一种桌面AR交互学习装置，该装置包括：
卡片，用于绘制文字、字母或数字信息；
显示器，用于进行屏幕显示，引导在桌面指定的位置摆放卡片；
语音模块，用于进行语音提示，引导在桌面指定的位置摆放卡片；
摄像头，用于采集桌面所摆放的卡片图像；
处理器，用于利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，使得显示器进行相应的屏幕显示和语音模块进行相应的语音提示。
相应地，本申请还提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现本申请的桌面AR交互学习方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (8)

1.一种桌面AR交互学习方法,其特征在于包括：
通过屏幕显示及语音提示，引导在桌面指定的位置摆放卡片；
通过摄像头采集摆放有卡片的桌面图像，利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，进行相应的屏幕显示及语音提示。
2.如权利要求1所述的方法，其特征在于，包括：所述卡片为矩形。
3.如权利要求2所述的方法，其特征在于，包括：
通过提取所采集的图像中边框直线，在边框直线中寻找预设大小的矩形框，根据矩形框的数量确定卡片的数量；
识别每个矩形框中卡片上的字符，确定卡片的内容信息是否正确；
识别所述矩形框中预设标志的位置，确定卡片放置的方向是否符合要求；
根据卡片的内容信息以及预设标志的位置信息，确定不同卡片之间的相对位置是否符合要求。
4.如权利要求3所述的方法，其特征在于，包括：所述预设标志为logo。
5.一种桌面AR交互学习装置，其特征在于包括：
卡片，用于绘制文字、字母或数字信息；
显示器，用于进行屏幕显示，引导在桌面指定的位置摆放卡片；
语音模块，用于进行语音提示，引导在桌面指定的位置摆放卡片；
摄像头，用于采集桌面所摆放的卡片图像；
处理器，用于利用图像分析方法，确定卡片的数量、内容以及相对位置是否符合要求，若不符合要求，使得显示器进行相应的屏幕显示和语音模块进行相应的语音提示。
6.如权利要求5所述的装置，其特征在于，包括：所述桌面指定的位置为摄像头正下方。
7.一种桌面AR交互学习装置，其特征在于包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-4中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的方法。
CN201810974445.8A 2018-08-24 2018-08-24 一种桌面ar交互学习方法及装置 Pending CN108986569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810974445.8A CN108986569A (zh) 2018-08-24 2018-08-24 一种桌面ar交互学习方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810974445.8A CN108986569A (zh) 2018-08-24 2018-08-24 一种桌面ar交互学习方法及装置

Publications (1)

Publication Number Publication Date
CN108986569A true CN108986569A (zh) 2018-12-11

Family

ID=64546730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810974445.8A Pending CN108986569A (zh) 2018-08-24 2018-08-24 一种桌面ar交互学习方法及装置

Country Status (1)

Country Link
CN (1) CN108986569A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112121407A (zh) * 2020-09-21 2020-12-25 上海积跬教育科技有限公司 一种基于屏幕和实物的解谜类游戏应用方法
CN113377204A (zh) * 2021-07-05 2021-09-10 深圳心颜科技有限责任公司 一种认知学习系统、方法、计算机设备及存储介质
CN113722034A (zh) * 2021-08-27 2021-11-30 读书郎教育科技有限公司 一种学生平板更换桌面壁纸的方法及设备
CN114783217A (zh) * 2022-02-16 2022-07-22 杭州超乎智能科技有限公司 一种基于多模态交互的教学设备及系统
CN115497229A (zh) * 2022-09-15 2022-12-20 江苏至真健康科技有限公司 无人自助的便携式免散瞳眼底照相机的使用方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509484A (zh) * 2011-10-13 2012-06-20 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习系统及其学习方法
CN105139696A (zh) * 2014-09-30 2015-12-09 张启熙 基于镜面反射和图像识别技术的移动终端幼教系统及方法
CN105381607A (zh) * 2015-11-10 2016-03-09 王欢 虚拟和实体协同交互的玩具模型
CN105702103A (zh) * 2016-01-14 2016-06-22 广州蜃境信息科技有限公司 一种基于镜片反射的数字识别处理系统实现方法
CN106097794A (zh) * 2016-07-25 2016-11-09 焦点科技股份有限公司 基于增强现实的汉语拼音组合认读学习系统及认读方法
CN106710372A (zh) * 2017-01-11 2017-05-24 成都市极米科技有限公司 拼音卡片识别方法、装置以及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509484A (zh) * 2011-10-13 2012-06-20 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习系统及其学习方法
CN105139696A (zh) * 2014-09-30 2015-12-09 张启熙 基于镜面反射和图像识别技术的移动终端幼教系统及方法
CN105381607A (zh) * 2015-11-10 2016-03-09 王欢 虚拟和实体协同交互的玩具模型
CN105702103A (zh) * 2016-01-14 2016-06-22 广州蜃境信息科技有限公司 一种基于镜片反射的数字识别处理系统实现方法
CN106097794A (zh) * 2016-07-25 2016-11-09 焦点科技股份有限公司 基于增强现实的汉语拼音组合认读学习系统及认读方法
CN106710372A (zh) * 2017-01-11 2017-05-24 成都市极米科技有限公司 拼音卡片识别方法、装置以及终端设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112121407A (zh) * 2020-09-21 2020-12-25 上海积跬教育科技有限公司 一种基于屏幕和实物的解谜类游戏应用方法
CN113377204A (zh) * 2021-07-05 2021-09-10 深圳心颜科技有限责任公司 一种认知学习系统、方法、计算机设备及存储介质
CN113722034A (zh) * 2021-08-27 2021-11-30 读书郎教育科技有限公司 一种学生平板更换桌面壁纸的方法及设备
CN114783217A (zh) * 2022-02-16 2022-07-22 杭州超乎智能科技有限公司 一种基于多模态交互的教学设备及系统
CN115497229A (zh) * 2022-09-15 2022-12-20 江苏至真健康科技有限公司 无人自助的便携式免散瞳眼底照相机的使用方法及系统
CN115497229B (zh) * 2022-09-15 2023-09-12 江苏至真健康科技有限公司 无人自助的便携式免散瞳眼底照相机的使用方法及系统

Similar Documents

Publication Publication Date Title
CN108986569A (zh) 一种桌面ar交互学习方法及装置
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
Grasset et al. Image-driven view management for augmented reality browsers
US20230367861A1 (en) Secure authorization via modal window
US20130283202A1 (en) User interface, apparatus and method for gesture recognition
US20150097767A1 (en) System for virtual experience book and method thereof
US9324134B2 (en) Display apparatus and control method thereof
CN103632169A (zh) 一种文字书写自动纠错方法和设备
CN106200960A (zh) 电子互动产品的内容显示方法及装置
CN111758122A (zh) 用于混合现实系统的浏览器
CN109388725A (zh) 通过视频内容进行搜索的方法及装置
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
Kittley-Davies et al. Evaluating the effect of feedback from different computer vision processing stages: a comparative lab study
US10817582B2 (en) Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform
CN114157877B (zh) 回放数据的生成方法及装置、回放方法及装置
CN105389391B (zh) 一种图片处理方法及装置
CN109766801A (zh) 辅助阅读方法、装置、可读存储介质及混合现实设备
CN111464859B (zh) 一种在线视频展示的方法、装置、计算机设备及存储介质
Pătrăucean et al. Perception test: A diagnostic benchmark for multimodal video models
CN109472255A (zh) 基于图像识别的桌面互动学习方法、装置和系统
CN109255997A (zh) 一种电子教材备课授课方法及装置
CN110766997A (zh) 一种临摹展示方法、装置及存储介质
KR20230085333A (ko) 인공지능 어린이 교육 솔루션 장치
JP2007172312A (ja) 機器操作性評価装置、機器操作性評価方法及び機器操作性評価プログラム
Letellier et al. Providing adittional content to print media using augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication