CN110162164A - 一种基于增强现实的学习互动方法、装置及存储介质 - Google Patents
一种基于增强现实的学习互动方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110162164A CN110162164A CN201811052278.8A CN201811052278A CN110162164A CN 110162164 A CN110162164 A CN 110162164A CN 201811052278 A CN201811052278 A CN 201811052278A CN 110162164 A CN110162164 A CN 110162164A
- Authority
- CN
- China
- Prior art keywords
- user
- learning
- study
- project
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000003993 interaction Effects 0.000 title claims abstract description 72
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 239000000463 material Substances 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 210000004218 nerve net Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 239000011800 void material Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及AR技术应用领域，公开了一种基于增强现实的学习互动方法、装置及存储介质，用于为用户提供一个虚拟和现实相互交融的学习环境，使用户在学习的同时还能够体验AR世界的趣味，进而提升用户的学习热情，以达到提高用户的学习效率的目的。所述方法包括根据获得的用户操作指令，确定所述用户选择的学习项目；获取与所述学习项目关联的增强现实AR图文信息；根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，其中，所述AR场景中包括用于进行学习互动的AR对象以及由所述AR对象向所述用户展示的学习内容。
Description
技术领域
本发明涉及计算机技术应用领域，尤其涉及一种基于增强现实的学习互动方法、装置及存储介质。
背景技术
增强现实(Augmented Reality，AR)技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术能够在终端屏幕上把虚拟信息套在现实世界中，用户通过屏幕便能够看到现实世界上的某个空间位置叠加的虚拟信息，虚拟信息与现实信息相互补充能够增强用户对事物的理解。
然而，如何将AR技术应用在教育领域中，以提高用户的学习效率，也是一个需要考虑的技术问题。
发明内容
本发明实施例提供一种基于增强现实的学习互动方法、装置及存储介质，用于为用户提供一个虚拟和现实相互交融的学习环境，使用户在学习的同时还能够体验AR世界的趣味，进而提升用户的学习热情，以达到提高用户的学习效率的目的。
第一方面，本发明实施例提供的一种基于增强现实的学习互动方法，包括：
根据获得的用户操作指令，确定所述用户选择的学习项目；
获取与所述学习项目关联的增强现实AR图文信息；
根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，其中，所述AR场景中包括用于进行学习互动的AR对象以及由所述AR对象向所述用户展示的学习内容。
本发明实施例提供的基于增强现实的学习互动方法，可以提供多种学习项目供用户选择学习，这样的学习项目如知识问答项目、书写练习项目、绘画临摹项目、识别现实世界中的目标物体等等，因此，该方法可以先根据用户的操作指令，确定用户选择的学习项目，进而获取与用户选择的学习项目相关的AR图文信息，并根据AR图文信息，绘制与选择的学习项目对应的虚拟和现实相互交融的AR学习场景，在该AR学习场景中，设置了用于与用户进行学习互动的AR对象，这样的AR对象如AR小老鼠，AR动漫人物等等，通过AR对象可以向用户展示与选择的学习项目相关的学习内容，供用户学习。所以，本发明实施例中基于AR的学习互动方案，能够让用户在学习的同时还能够体验AR世界的趣味，不仅有利于提升用户的学习热情，还用利于用户更有效的掌握学习内容，从而达到提高用户的学习效率的目的。
可选的，所述AR场景中包括所述学习项目的至少一种学习模式选项，在获得所述用户从所述至少一种学习模式选项中选择任一种学习模式的操作时，所述方法还包括：
根据所述用户选择的学习模式，控制所述AR对象以与所述学习模式匹配的行为特征，与所述用户进行学习互动。
在本发明实施例中，还可以在绘制的与学习项目关联的AR场景中，进一步呈现学习项目的一种或多种具体的学习模式供用户选择，例如，在学习项目具体为汉字书写练习项目时，可在写练习项目的AR场景中，进一步呈现如跟读书写的汉字的学习模式选项、对书写的汉字进行组词造句的学习模式选项等等，并且在每一种学习模式下，还可以控制与AR对象，如AR卡片、AR动物，以与学习模式匹配的行为特征，与所述用户进行学习互动，所以，不仅进一步的增加了AR学习互动方案的趣味性，还能丰富AR学习的方式，使得本发明实施例中的AR学习方案具有多样化。
可选的，所述获取与所述学习项目关联的增强现实AR图文信息，具体为：
获取现实世界的图像以及与所述学习项目关联的虚拟图文信息，所述AR图文信息包括所述现实世界的图像以及所述虚拟图文信息。
在本发明实施例中，获取与用户选择的学习项目相关的AR图文信息是通过获取现实世界的图像，以及预先设置的与学习项目关联的虚拟图文信息来实现的，例如，在确定用户选择的学习项目之后，打开摄像头获取现实世界的图像，然后在从本地存储单元或云存储中心中获取与学习项目关联的虚拟图文信息，进而获得该学习目标对应的AR图文信息。
可选的，在所述学习项目具体为知识问答项目时，所述方法还包括：
获得所述用户输入的语音信息；
解析所述语音信息，并根据解析结果，确定与所述语音信息对应的答复语音信息；
控制所述AR对象输出所述答复语音信息。
在本发明实施例中，在学习项目具体为知识问答项目时，可以根据用户输入的语音信息，解析用户提出问题，并根据解析的结果，查找与该结果匹配的答案，并将该答案转换成语音信息，以控制AR场景中AR对象，如AR人物以语音的方式向用户播报答案，所以，进一步丰富了学习知识问答的AR学习方案的趣味性。
可选的，所述学习项目具体为书写练习项目时，所述方法还包括：
确定所述用户书写的内容是否正确；
并在所述内容书写正确时，获取与所述内容相关的AR图像信息；
根据所述AR图像信息，在所述AR场景中绘制用于表征所述内容的AR图像。
在本发明实施例中，在学习项目具体为书写练习项目时，可以根据用户书写结果判断书写内容是否正确，在判断出书写内容正确时，还可以获取与书写内容相关的AR图像，进而在AR场景中绘制用于表征书写内容的AR图像。例如，在书写的内容为杯子的英文单词“cup”时，若用户书写正确，还可以获取与英文单词“cup”对应的AR图像信息，然后在AR场景中绘制出杯子的AR图像，即虚拟的生活中使用的杯子实物，让学习者在练习书写的同时，能够结合书写内容对应的实物，加深对书写内容的认识，进而有利于更高效的掌握书写的内容，当然，也增加了书写练习的AR学习互动方案的趣味性。
可选的，在所述学习项目具体为识别现实世界中的目标物体的项目，所述获取与所述学习项目关联的增强现实AR图文信息之后，所述方法包括：
从所述现实世界的图像中，确定待识别的目标物体；
识别所述目标物体，并根据识别结果获取目标物体学习资料，其中，所述目标物体学习资料通过所述AR对象向所述用户进行展示。
在本发明实施例中，学习项目还可以为识别现实世界中的目标物体的项目，可以根据拍摄的现实世界的图像，对图像中的目标物体进行识别，并在识别出该目标物体时，获取目标物体学习资料，并控制AR场景中的AR对象向用户展示目标物体学习资料，进一步增加了识别现实世界中的目标物体的AR学习互动方案的趣味性。
可选的，所述根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，具体包括：
根据现实世界的图像，绘制虚拟的现实世界；
在所述虚拟的现实世界中的目标位置，根据所述虚拟图文信息，绘制AR对象，形成包括所述虚拟的现实世界以及所述AR对象的AR场景。
在本发明实施例中，在学习项目为识别现实世界中的目标物体的项目时，还可以根据拍摄的现实世界的图像，绘制一个虚拟的现实世界，并在绘制的虚拟的现实世界中，进一步绘制用于向用户展示目标物体学习资料的AR对象，例如，在对墙上的电视机进行识别时，可以通过摄像头拍摄包括电视机的墙的现实世界的图像，进而来识别图像中的电视机，在识别成功后，可以根据拍摄的包括电视机的墙的现实世界的图像，绘制一个虚拟的现实世界，在该虚拟的现实世界中也包括墙和墙上的电视机，并在电视机中进一步绘制AR人物，用于向用户展示与电视机相关的学习资料，所以，在帮助用户认识现实世界中的实物的同时，通过AR场景提供与识别的物体相关的更多的学习资料，还可以通过与AR对象进行互动的方式加深对学习资料的学习，所以，在进一步增加AR学习互动方案的趣味性的同时，也提高了学习效率。
可选的，所述识别所述目标物体，具体为：基于神经网络R-FCN识别所述目标物体。
在本发明实施例中，采用R-FCN神经网络算法识别出图像中的目标物体，相比现有技术中的R-CNN神经网络算法，能够达到更快速识别效果，进而能够极大地提升AR学习方案的用户体验。
第二方面，本发明实施例提供了一种基于现实增强的学习互动方案的实现装置，包括：
确定单元，用于根据获得的用户操作指令，确定所述用户选择的学习项目；
获取单元，用于获取与所述学习项目关联的增强现实AR图文信息；
绘制单元，用于根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，其中，所述AR场景中包括用于进行学习互动的AR对象以及由所述AR对象向所述用户展示的学习内容。
可选的，所述AR场景中包括所述学习项目的至少一种学习模式选项，在获得所述用户从所述至少一种学习模式选项中选择任一种学习模式的操作时，所述装置还包括：
控制单元，用于根据所述用户选择的学习模式，控制所述AR对象以与所述学习模式匹配的行为特征，与所述用户进行学习互动；
所述获取单元，用于：
获取现实世界的图像以及与所述学习项目关联的虚拟图文信息，所述AR图文信息包括所述现实世界的图像以及所述虚拟图文信息。
可选的，在所述学习项目具体为知识问答项目时，所述确定单元，还用于：
获得所述用户输入的语音信息；
解析所述语音信息，并根据解析结果，确定与所述语音信息对应的答复语音信息；
控制所述AR对象以对话的方式输出所述答复语音信息。
可选的，所述学习项目具体为书写练习项目时，所述确定单元，还用于：
确定所述用户书写的内容是否正确；
并在所述内容书写正确时，获取与所述内容相关的AR图像信息；
根据所述AR图像信息，在所述AR场景中绘制用于表征所述内容的AR图像。
可选的，在所述学习项目具体为识别现实世界中的目标物体的项目，所述获取单元，还用于：
从所述现实世界的图像中，确定待识别的目标物体；
识别所述目标物体，并根据识别结果获取目标物体学习资料，其中，所述目标物体学习资料通过所述AR对象向所述用户进行展示。
可选的，所述绘制单元，还用于：
根据现实世界的图像，绘制虚拟的现实世界；
在所述虚拟的现实世界中的目标位置，根据所述虚拟图文信息，绘制AR对象，形成包括所述虚拟的现实世界以及所述AR对象的AR场景。
可选的，所述获取单元，还用于：基于神经网络R-FCN识别所述目标物体。
第三方面，本发明实施例提供了一种基于增强现实的学习装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如第一方面所述方法的步骤。
第四方面，本发明实施例提供了一种存储介质，所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面所述的方法的步骤。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例提供的一种应用场景示意图；
图2为本发明实施例提供的一种基于增强现实的学习互动方法流程图；
图3为本发明实施例提供的人机交互构示意图；
图4a为本发明实施例中学习项目具体为知识问答项目时对应的AR学习互动方法流程图；
图4b为本发明实施例中的包括AR学习场景选项的人机交互界面示意图；
图5a为本发明实施例中知识问答项目对应的第一种AR场景示意图；
图5b为本发明实施例中知识问答项目对应的第二种AR场景示意图；
图5c为本发明实施例中知识问答项目对应的第三种AR场景示意图；
图5d为本发明实施例中知识问答项目对应的第四种AR场景示意图；
图6为本发明实施例中学习项目具体为书写练习项目时对应的AR学习互动方法流程图；
图7为本发明实施例中书写练习项目对应的第一种AR场景示意图；
图8为本发明实施例中书写练习项目对应的第二种AR场景示意图；
图9为本发明实施例中书写练习项目对应的第三种AR场景示意图；
图10为本发明实施例中学习项目具体为识别现实世界中的目标物体项目时对应的AR学习互动方法流程图；
图11为本发明实施例中拍摄的现实世界图像示意图；
图12为本发明实施例中识别现实世界中的目标物体项目对应的第一种AR场景示意图；
图13为本发明实施例中识别现实世界中的目标物体项目对应的第二种AR场景示意图；
图14为本发明实施例提供的一种基于AR的学习互动装置示意图；
图15为本发明实施例提供的另一种基于AR的学习互动装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。
下面对本发明实施例中涉及的部分概念进行介绍。
Cubedeat AR：三次方AR技术，根据拍摄的照片或本地上传的照片，对照片中的物体进行智能识别，并呈现物体的中英双语解读，点击即可播放语音。
终端设备：可以安装各类应用程序，并且能够将已安装的应用程序中提供的对象进行显示的设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。
在具体实践过程中，本发明的发明人发现，目前AR技术在教育领域中的应用，仅限于利用与AR技术相关的Cubedeat AR来识别物体，然后向用户展示该物体的英语单词知识，以供用户学习。可见，现有技术中AR技术在教育领域的应用较为单一，使得现有的AR技术学习方案略显简单枯燥。为此，本发明的发明人考虑到AR技术具有高度仿真现实世界的虚拟环境的功能，若是能够结合AR技术的上述功能，为用户设计一个虚拟和现实相互交融的学习环境，在该学习环境中不仅为用户提供多方位的交互式学习，还为用户设计丰富的AR视觉体验，使用户在学习的同时还能够体验AR世界的趣味，进而让整个学习过程变得生动而有趣，不仅有利于提升用户的学习热情，还用利于用户更有效的掌握学习内容，从而达到提高用户的学习效率的目的。
基于此，本发明实施例提供了一种基于增强现实的学习互动方法，该方法能够提供多种学习项目供用户选择学习，这样的学习项目如知识问答项目、书写练习项目、绘画临摹项目、识别现实世界中的目标物体等等，因此，该方法可以根据用户本次选择的学习项目，绘制与选择的学习项目对应的虚拟和现实相互交融的AR学习场景，在该AR学习场景中，设置了用于与用户进行学习互动的AR对象，这样的AR对象如AR小老鼠，AR动漫人物等等，通过AR对象可以向用户展示与选择的学习项目相关的学习内容，供用户学习。所以，本发明实施例中的AR学习方案，能够让用户在学习的同时还能够体验AR世界的趣味，不仅有利于提升用户的学习热情，还用利于用户更有效的掌握学习内容，从而达到提高用户的学习效率的目的。
本发明实施例中的基于增强现实的学习互动方法可以应用于如图1所示的应用场景，在该应用场景中包括终端设备10以及后台服务器11，终端设备10为任何能够按照程序运行，自动、高速处理大量数据的智能电子设备，这样的终端设备10如智能手机，ipad，电脑等，服务器后台11可以是一台服务器，也可以是若干台服务器组成的服务器集群或云计算中心，终端设备10通过网络与后台服务器11通信，网络可以为局域网、广域网或移动互联网等通信网络中的任意一种。在该应用场景下，可将与AR学习方案相关的学习资料存储在后台服务器11中，也可以将与AR学习方案实现的某些功能设置在后台服务器11中，以减小对终端设备10的硬件要求，进而在需要时，终端设备10可以通过后台服务器11获得相应的功能。
本发明实施例中，在用户从终端设备10提供的学习项目选择界面，选择需要学习的学习项目，终端设备10在检测到用户选择的学习项目之后，就可以执行本发明实施例提供的AR学习方案的实现方法。
本发明实施例中的AR学习方案的实现方法还可以应用于其他应用场景，如仅包括终端设备的应用场景，在该场景下，终端设备中的硬件性能较高，可将与AR学习方案实现相关的学习资料存储在本地存储单元中，以及能够调用本地功能模块实现与AR学习方案实现相关的功能，在此就不对本发明实施例中的方法的应用场景一一列举了。
需要注意的是，上文提及的应用场景仅是为了便于理解本发明的精神和原理而示出，本发明实施例在此方面不受任何限制。相反，本发明实施例可以应用于适用的任何场景。
下面结合图1所示的应用场景，对本发明实施例提供的AR学习方案的实现方法进行说明。
如图2所示，本发明实施例提供的一种基于增强现实的学习互动方法，包括：
步骤101：根据获得的用户操作指令，确定用户选择的学习项目。
本发明实施例中，终端设备获得用户的操作指令的方式包括多种，例如，在用户操作终端设备中的麦克风或其他语音输入组件，向终端设备输入语音指令，终端设备就可以通过麦克风获得用户输入语音的操作，进而获得用户的操作指令；在用户点击终端设备的显示组件如显示屏，显示的人机交互界面中的任一选项时，终端设备就可以通过显示组件获得用户选择该任一选项的操作指令。
本发明实施例中，终端设备在获得用户操作指令之后，可根据用户操作指令确定用户选择的学习项目，其中，学习项目，是指可通过特定的学习手段以获得知识、技能或认知的活动，例如，可以通过听、说、读、写等学习手段，以加深对听的内容，或说的内容，或读的内容，或写的内容的认识和掌握。
具体的，学习项目可以是知识问答项目，即通过对知识问答方式，来认识和掌握问答的知识内容；学习项目也可以是书写练习项目，即通过书写方式，来认识和掌握书写的内容；学习项目也可以是绘画临摹项目，即通过临摹方式，来认识和掌握临摹的内容；还可以是识别现实世界中的目标物体(如桌子上的杯子，墙上的张片等物体)的项目等，在此就不一一列举。
例如图3所示，终端设备通过显示屏显示人机交互界面，该人机交互界面包括四种可供用户选择的学习项目的选项，分别为知识问答项目、书写练习项目、绘画临摹项目、以及识别现实世界物体项目(图3中的物体识别项目)，当用户点击人机交互界面中的知识问答项目的选项时，终端设备能够检测获得用户点击知识问答项目的选项的操作，进而根据该点击操作，判断出用户选择的学习项目为知识问答项目。
步骤102：获取与学习项目关联的增强现实AR图文信息。
在本发明实施例中，获得的AR图文信息包括现实世界的图像，以及预先设置的与学习项目关联的虚拟图文信息，因此，在确定用户选择的学习项目之后，可以通过启动终端设备的摄像头或与终端设备外接的摄像头，对现实世界进行拍摄，获得现实世界的图像，还可以从存储与学习项目关联的虚拟图文信息的位置，获取该虚拟图文信息。
在本发明实施例中，可以灵活设置存储与学习项目关联的虚拟图文信息的位置，例如可将与学习项目关联的虚拟图文信息存储在后台服务器中，也可以将与学习项目关联的虚拟图文信息中的一部分虚拟图文信息存储在后台服务器中，另一部分虚拟图文信息存储在本地存储器中，当然，在终端设备的硬件性能较强的情况下，还可以将与学习项目关联的虚拟图文信息全部存储在本地的存储单元中。
例如，在将与学习项目关联的虚拟图文信息存储在后台服务器中时，在终端设备确定用户选择的学习项目之后，可向后台服务器发送获取与用户选择的学习项目关联的虚拟图文信息请求，后台服务器根据该请求，从后台服务器存储单元中获取与用户选择的学习项目关联的虚拟图文信息，并将该虚拟图文信息反馈给终端设备，让终端设备通过后台服务器获取到该虚拟图文信息。
例如，在将与学习项目关联的虚拟图文信息中的第一部分虚拟图文信息存储在后台服务器中，第二部分虚拟图文信息存储在本地存储器中时，在终端设备确定用户选择的学习项目之后，可向后台服务器发送获取上述第一部分虚拟图文信息的请求，后台服务器根据该请求，从后台服务器存储单元中获取第一部分虚拟图文信息，并将第一部分虚拟图文信息发给终端设备，终端设备可以从本地存储单元获取第二部分虚拟图文信息，进而获取到与学习项目关联的所有虚拟图文信息。
需要说明的是，在具体实践过程中，可以根据与学习项目关联的虚拟图文信息中的各部分虚拟图文信息在本发明实施例中需要的先后顺序以及各部分虚拟图文信息的数据量大小，将先执行的且数据量适中的部分虚拟图文信息存储在终端设备中，将后执行的数据量大的部分虚拟图文信息存储在后台服务器中，这样有利于降低对终端设备的硬件性能的要求，也有利于提升终端设备执行本发明实施例中方法的速率。
因此，获取的与学习项目关联的虚拟图文信息可以指需要先执行的且数据量适中的部分虚拟图文信息，那么，在终端设备确定用户选择的学习项目之后，可以从本地存储单元中，快速获取到与选择的学习项目相关的需要先执行的且数据量适中的部分虚拟图文信息，进而提升本发明实施例中的方法的执行速率。
在后续执行过程中，终端设备可以根据需要再从后台服务器中获取另一部分虚拟图文信息。
步骤103：根据AR图文信息，绘制用户进行学习项目的学习的AR场景。
其中，AR场景中包括用于进行学习互动的AR对象以及由AR对象向用户展示的学习内容。
在本发明实施例中，终端设备获取AR图文信息即获取与学习项目关联的虚拟图文信息以及现实世界的图像之后，可以根据获取的AR图文信息绘制用于用户进行学习项目的学习的AR场景，在具体实践过程中，可以采用Marker-Less AR(少量标记增强现实)方法，来根据AR图文信息绘制AR场景，该方法可以用任何具有足够特征点的物体作为平面基准，而不需要事先制作特殊的模板，摆脱了模板对AR应用的束缚，能够提升AR应用场景的绘制效率，本发明实施例将会在下文中对该方法进行进一步的说明。
本发明实施例中，绘制的AR场景包括用于与用户进行学习互动的AR对象，这样的AR对象如AR动漫动物，AR动漫人物，AR物体等等，通过AR对象与用户进行学习互动，不仅可以向用户展示学习内容，还可以使学习过程变得生动有趣，提升用户的学习热情，从而达到提升学习效率的效果。
步骤104：AR场景中包括学习项目的至少一种学习模式选项，获得用户从至少一种学习模式选项中选择任一种学习模式的操作。
在本发明实施例中，还可以设置学习项目的一种或多种具体的学习模式，例如，在学习项目为书写练习项目时，除了可以对书写内容进行书写练习外，还可以设置对书写的内容进行口语练习、多种语种翻译、组词造句等等，因此，可以在AR场景呈现学习项目的一种或多种具体的学习模式供用户选择，进而丰富AR学习的方式，使得本发明实施例中的AR学习方案具有多样化。
步骤105：根据用户选择的学习模式，控制所述AR对象以与学习模式匹配的行为特征，与用户进行学习互动。
本发明实施例中，还可以根据学习项目的不同学习模式的不同学习特征，设置AR场景中AR对象的行为特征，以使得AR对象能够与用户选的学习模式匹配的行为，与用户进行学习互动，例如，在书写练习项目的AR场景中，用户选择了对书写的内容进一步进行口语练习，这时，可以控制AR对象播放书写内容的语音，以便用户进行跟读。
所以，本发明实施例中提供的基于AR的学习互动方法，在根据获得的用户操作指令，确定用户选择的学习项目之后，获取与该学习项目关联的AR图文信息，进一步根据获取的AR图文信息，绘制用于用户进行学习项目的学习的AR场景，在AR场景中包括用于进行学习互动的AR对象，进而可以通过AR场景中的AR对象向用户展示的学习内容，所以，本发明实施例中的AR学习互动方案，能够让用户在学习的同时还能够体验AR世界的趣味，不仅有利于提升用户的学习热情，还用利于用户更有效的掌握学习内容，从而达到提高用户的学习效率的目的。
为了进一步说明本发明实施例提供的基于AR的学习互动方法，下面将以具体的学习项目为基础，列举多个实施例进一步的对上述方法进行阐述。
第一种实施例中，学习项目具体为知识问答项目。
如图4a所示的步骤，在学习项目具体为知识问答项目时，AR学习方案的实现方法包括：
步骤201：确定用户选择知识问答项目；
步骤202：获取现实世界的图像，以及与知识问答项目关联的虚拟图文信息；
步骤203：根据现实世界的图像绘制虚拟的现实世界，并在虚拟的现实世界中的目标位置，根据虚拟图文信息绘制AR对象，形成知识问答AR场景；
步骤204：接收用户输入的语音信息；
步骤205：调用问答系统，解析语音信息，并确定用于回答用户的预设语音信息；
步骤206：控制AR对象以对话的方式输出预设语音信息。
终端设备可以如上述图3所示，通过显示屏显示的人机交互界面，提供可供用户选择的学习项目的选项，当用户点击人机交互界面中的知识问答项目的选项时，终端设备能够检测获得用户点击知识问答项目的选项的操作，进而根据该点击操作，确定出用户选择了知识问答项目。
终端设备确定出用户选择了知识问答项目之后，启动摄像头获取现实世界的图像，并获取与知识问答项目关联的虚拟图文信息，然后，根据现实世界的图像，在终端设备的显示屏中绘制虚拟的现实世界，并在绘制的虚拟现实世界的目标位置中根据虚拟图文信息绘制用于与用户进行知识问答的AR对象，进而形成知识问答AR场景，其中，目标位置可以根据实际需要进行设置，在此就不进行任何显示。
在本发明实施例中，为了进一步增加AR学习互动的趣味性，与知识问答项目关联的虚拟图文信息中可以包括分别与多种类型的知识问答AR场景对应的子虚拟图文信息，那么，在获取与知识问答项目关联的虚拟图文信息之后，还可以通过人机交互界面，向用户展示多种类型的知识问答AR场景选项，供用户选择，例如，图4b所示，提供了动漫类型的知识问答AR场景选项(即图4b中的动漫AR场景选项)，该动漫知识问答AR场景中包括与用户进行知识问答互动的AR动漫人物或动物；图4b中还提供了真实人物类型的知识问答AR场景(即图4b中的名师在线AR场景选项)，该AR场景中包括与用户进行知识问答互动的知名老师。
当终端设备获得用户选择了图4b中的名师在线AR场景选项时，终端设备可以从虚拟图文信息中获取与用户选择的名师在线AR场景选项对应的子虚拟图文信息，然后根据该子虚拟图文信息，在绘制的虚拟现实世界中进一步绘制包括用于与用户学习互动的知名老师的AR场景。当终端设备获得用户选择了图4b中的动漫AR场景选项时，终端设备可以从虚拟图文信息中获取与用户选的动漫AR场景选项对应的子虚拟图文信息，然后根据该子拟图文信息，在绘制的虚拟现实世界中进一步绘制包括与用户进行知识问答的动漫人物或动物的动漫AR场景。
在本发明实施例中，具体以终端设备获得用户选择图4b中的动漫AR场景选项，终端设备在绘制的虚拟现实世界中进一步绘制如图5a所示的动漫AR场景为例，在如图5a所示的动漫AR场景中，包括用于与用户进行学习知识问答的AR小老鼠，在图5a所示的动漫AR场景绘制完成后，可进入知识问答环节，例如，可以通过控制图5a所示的动漫AR场景中的AR小老鼠，向用户传达“你可向我提问了”的语音信息，来提示用户可以进行学习知识的问答。
用户可以点击AR场景中的话筒，来向AR小老鼠提问，在具体实践过程中，终端设备在检测到用户点击AR场景中的话筒之后，终端设备可以控制AR小老鼠呈现与收听用户提问的场景匹配的行为，例如图5b所示，用户向AR小老鼠提问“1+1等于几”，终端设备可控制AR小老鼠呈现如图5b所示的姿势，以表征AR小老鼠正在收听用户的提问。
在具体实践过程中，终端设备可以通过获取本地存储的或通过调用后台服务器中存储的与如图5b所示的姿势对应的虚拟图像信息，来绘制AR场景中的AR小老鼠呈现如图5b所示的姿势。
终端设备在接收到用户的提问后，可以调用问答系统对该提问进行解析，并根据解析结果，确定用于回答该提问的答案，即“等于2”的答案，终端设备将该答案转换成语音，控制AR小老鼠向用户语音播报“等于2”的答案，同样的，终端设备可以通过获取本地存储的或通过调用后台服务器中存储的与AR小老鼠向用户语音播报“等于2”对应的AR图像信息，来绘制AR场景中的AR小老鼠呈现向用户语音播报“等于2”的姿势。
为了进一步丰富学习知识问答的AR学习模式，还可以绘制如图5c所示的动漫AR场景，在该场景中AR小老鼠举着包括可供用户选择的多种类型的知识问答的选项的牌子，包括地理知识问答的选项，天文知识问答的选项，数学知识问答的选项，语文知识问答的选项，当用户点击数学知识问答的选项时，可以如图5d所示的动漫AR场景，通过AR小老鼠向用户展示，“你问我答”以及“我问你答”的数学知识问答模式。
第二种实施例中，学习项目具体为书写练习项目。
如图6所示的步骤，在学习项目具体为书写练习项目时，AR学习方案的实现方法包括：
步骤301：确定用户选择书写练习项目；
步骤302：获取现实世界的图像，以及与书写练习项目关联的虚拟图文信息；
步骤303：根据现实世界的图像绘制虚拟的现实世界，并在虚拟的现实世界中的目标位置，根据虚拟图文信息绘制AR对象，形成书写练习AR场景；
步骤304：获得用户在书写练习AR场景中书写的内容；
步骤305：判断书写的内容是否正确，若错误，则执行步骤306，若正确，则执行步骤307；
步骤306：重新在书写练习AR场景中进行书写；
步骤307：获取与书写内容相关的AR图像信息；
步骤308：根据获取的AR图像信息，在AR场景中绘制用于表征书写内容的AR图像。
在第二种实施例中，终端设备可以如上述图3所示，通过显示屏显示的人机交互界面，提供可供用户选择的学习项目的选项，并基于检测到的用户在人机交互界面的操作，确定用户选择的学习项目为书写练习项目，在此就不重复叙述。
终端设备确定用户选择的学习项目为书写练习项目之后，启动摄像头获取现实世界的图像，并获取与书写练习项目关联的虚拟图文信息，然后，根据现实世界的图像，在终端设备的显示屏中绘制虚拟的现实世界，并在绘制的虚拟现实世界的目标位置中并根据虚拟图文信息绘制用于进行书写练习互动的AR对象，进而形成书写练习AR场景。
同样的，为了进一步增加AR学习互动的趣味性，本发明实施例中，与书写练习关联的虚拟图文信息中可以包括分别与多种类型的书写练习项目AR场景对应的子虚拟图文信息，可以通过人机交互界面，向用户展示多种类型的书写练习项目AR场景选项，供用户选择，例如，提供虚拟的现实书房AR场景，用于进行书写练习，该场景中可以包括虚拟的用于指导用户书写的AR人物，还可以提供动漫类型的AR场景，用于进行书写练习，该场景中可以包括虚拟的用于与用户书写互动的AR动物等等，在此，就不重复叙述了。
在本发明实施例中，绘制的书写练习AR场景中也可以通过AR对象如AR小老鼠，举着包括多种类型的书写练习模板的选项的牌子，供用户进行选择，书写练习模板如英文单词书写练习模板，汉字书写练习模板，绘画练习模板等等，这里假设，用户选择的英文单词书写练习模板的选项，那么，终端设备就可以进一步获取与该选项对应的虚拟图文信息，进一步绘制用于用户进行英文单词书写练习的AR场景。
这里假设绘制的用于用户进行英文单词书写练习AR场景如图7所示，包括表征用户需要练习书写的英文单词“cup”、AR小老鼠、以及表征用户练习书写所需的AR笔，终端设备检测到用户点击如图7所示的AR场景中的AR笔时，终端设备可以控制AR笔移动到AR场景中的练习区域中，控制的方式，可以具有通过获取与AR笔移动到AR场景中的练习区域中对应的虚拟图文信息，刷新该AR场景，进而得到AR笔移动到练习区域的AR场景。
当终端设备检测到用户在AR场景中的练习区域，进行英文单词“cup”的书写练习，并检测到英文单词“cup”的书写练习完成，例如，终端设备可以通过检测书写笔迹，确定书写“cup”的起始时间，并在确定书写“cup”的结束时间之后的预设时长之后的，未再次检测到书写笔迹时，则终端设备可确认英文单词“cup”的书写练习完成，并通过获取书写过程中保存的英文单词“cup”的书写笔迹，来判断英文单词“cup”的书写是否正确。
终端设备判断书写的英文单词“cup”是否正确的方式可以是将获取英文单词“cup”的书写笔迹与预存的“cup”的书写笔迹进行比较，若二者相似度达到阈值，则判断英文单词“cup”书写正确，否则判断英文单词“cup”书写错误。
若终端设备判断出书写的英文单词“cup”不正确，终端设备可以控制AR场景中的AR小老鼠，以语音播报的方式或以文字的方式提示用户书写的内容错误请重新书写，若终端设备判断出书写的英文单词“cup”正确，终端设备可以先从单词资料库中，获取英文单词“cup”的资料。
在本发明实施例中，可事先将英文单词“cup”的资料存储在资料库中，资料库可以是终端设备的资料库，也可以后台服务器中的资料库，当资料库是台服务器中的资料库时，终端设备可以向后台服务器发送获取英文单词“cup”的资料的请求，后台服务器基于该请求，从后台服务器中的资料库中查找英文单词“cup”的资料，并向终端设备反馈查找的英文单词“cup”的资料。
终端设备获取的英文单词“cup”的资料，可以包括英文单词“cup”的音标，发音，中文解释等等，与“cup”相关的知识。
终端设备根据获取的英文单词“cup”的资料，控制AR场景中的AR小老鼠以AR卡片展示获取的英文单词“cup”的资料，例如图8所示，AR小老鼠举着AR卡片，AR卡片中包括英文单词“cup”的英式发音，美式发音，cup作为动词时的解释，cup作为名词时的解释等信息。
终端设备还可以获取英文单词“cup”对应的实物的AR图像，例如，可将英文单词“cup”对应的实物的AR图像实现存储在后台服务器或者存储在终端设备中，进而从后台服务器或者终端设备的存储单元中获取英文单词“cup”对应的实物的AR图像，终端设备根据获取的英文单词“cup”对应的实物的AR图像，绘制如图9所示的包括杯子实物的AR图像，还可以在该图像中以AR卡片的方式展示“cup”的资料。
第三种实施例中，学习项目具体为识别现实世界中的目标物体的项目。
如图10所示的步骤，在学习项目具体为识别现实世界中的目标物体的项目时，AR学习方案的实现方法包括：
步骤401：确定用户选择识别现实世界中的目标物体的项目；
步骤402：打开摄像装置，拍摄包括目标物体的现实世界；
步骤403：并识别拍摄的图像中的目标物体；
步骤404：判断目标物体识别是否成功，若识别成功，则执行步骤405，否则继续执行步骤402；
步骤405：保存拍摄的图像，并根据识别结果，获取目标物体学习资料；
步骤406：获取与目标物体关联的虚拟图文信息；
步骤407：根据保存的现实世界图像，绘制虚拟的现实世界；
步骤408：在绘制的虚拟现实世界中的目标位置，根据虚拟图文信息，绘制AR对象，形成包括虚拟的现实世界以及AR对象的AR场景；
步骤409：控制AR对象向用户展示目标物体学习资料。
在第三种实施例中，终端设备也可以如上文叙述的任一种方法，确定用户选择的学习项目为识别现实世界中的目标物体的项目，在此就不重复叙述。
终端设备在确定用户选择的学习项目为识别现实世界中的目标物体的项目之后，打开摄像装置例如摄像头，对现实世界进行拍摄，其中，摄像装置可以是终端设备自带的，也可以是外接摄像装置。
例如，在需要识别的现实世界中的目标物体为图11中的电视机时，终端设备启动摄像头后，控制摄像头拍摄的现实世界范围，使得拍摄的现实世界图像包括待识别的电视机，这里假设拍摄的现实世界图像就为图11所示的图像。
在实际应用中，拍摄的现实世界图像中有可能仅仅包括待识别的目标物体，这时，终端设备可以直接识别图像中的目标物体，拍摄的现实世界的图像中也有可能包括待识别的目标物体在内的多个物体，例如图11所示的图像，不仅包括待识别的电视机，还包括吊灯、台灯、椅子、相册、书等多个物体，这时，终端设备在检测到图像拍摄完成之后，可以如图12所示显示让用户选择待识别的图像中的目标物体的提示信息，终端设备检测用户点击图像中的区域，进而确定图像中该区域上的物体即为目标物体。
在本发明实施例中，终端设备可以通过自身的图像识别组件来识别图像中的目标物体，终端设备也可以将拍摄的图像发送到后台服务器中，由后台服务器中的图像识别组件对图像中的目标物体进行识别，在此，以端设备可以通过自身的图像识别组件来识别图像中的目标物体为例。
在本发明实施例中，图像识别组件识别图像中的目标物体的具体方法可以采用R-FCN神经网络算法，本发明的发明人经过试验分析发现，采用R-FCN神经网络算法，相比现有技术中的R-CNN神经网络算法，能够更快速的识别出图像中的目标物体，R-FCN神经网络算法识别目标物体的速度最快可达到R-CNN神经网络算法的45倍，因此，采用R-FCN神经网络算法能够极大地提升用户体验。
因此，在终端设备检测到图像拍摄完成，且检测得到用户点击图像中的区域的目标物体之后，可调用终端设备中的图像识别组件，对图像中的目标物体采用R-CNN神经网络算法进行识别，若识别成功，则终端设备可以将拍摄的原始的图像进行保存，还可以获取目标物体相关的学习资料。
在实际应用中，也可能存在识别不成功的情况，例如，摄像头拍摄的现实世界的图像不够清晰，导致无法识别图像中的目标物体；又例如，在拍摄的图像中包括多个物体时，终端设备检测到用户点击的图像中的区域对于物体不清楚，如检测到用户同时点击到了桌子和台灯，导致终端设备无法准确的判断待检测的目标物体，这时，终端设备可以启动摄像装置，重新对现实世界进行拍摄，直到成功识别目标物体。
在本发明实施例中，终端设备在识别目标物体之后，可以从后台服务器中获取目标物体相关的学习资料，例如，在资料库保存在后台服务器中时，终端设备可向后台服务器发送请求，请求获取目标物体相关的学习资料，进而通过后台服务器的反馈，获得目标物体相关的学习资料，例如，在识别出目标物体为电视机时，终端设备可以向后台服务器发送获取电视机的学习资料的请求。
在资料库保存在终端设备时，终端设备可以从本地存储单元中，获取目标物体即电视机相关的学习资料。电视机相关的学习资料可以包括电视机对应的英文翻译、英文缩写、中文拼音等等资料。
终端设备还可以获取与电视机关联的虚拟图文信息，同样的，与电视机关联的虚拟图文信息可以存储在后台服务器中，也可以存储在终端设备可以从本地存储单元中，在此，就不重复叙述了。
终端设备根据本地存储的图像，绘制虚拟的现实世界，然后根据与电视机关联的虚拟图文信息，在绘制虚拟的现实世界中的目标位置绘制用于与用户进行互动的AR对象，目标位置可以根据实际需要进行设置，例如，可以在选择绘制的虚拟的现实世界中的电视剧所处的位置作为目标位置，在该位置绘制AR对象，例如，图13所示，在绘制的虚拟的现实世界中电视剧上，进一步绘制用于向用户展示电视机相关的学习资料的AR人物，还可以将电视机的学习资料绘制成AR卡片，通过AR人物向用户展示包括电视机的学习资料的AR卡片。
所以，通过上述列举的多个实施例进一步可知，本发明实施例提供了AR学习互动方法，该方法能够提供多种学习项目供用户选择学习，这样的学习项目如知识问答项目、书写练习项目识别现实世界中的目标物体等等，因此，该方法可以根据用户本次选择的学习项目，绘制与选择的学习项目对应的虚拟和现实相互交融的AR学习场景，在该AR学习场景中，设置了用于与用户进行学习互动的AR对象，这样的AR对象如AR小老鼠，AR动漫人物等等，通过AR对象可以向用户展示与选择的学习项目相关的学习内容，供用户学习。所以，本发明实施例中的AR学习方案，能够让用户在学习的同时还能够体验AR世界的趣味，不仅有利于提升用户的学习热情，还用利于用户更有效的掌握学习内容，从而达到提高用户的学习效率的目的。
进一步的，本发明实施例中在步骤103：根据AR图文信息，绘制用户进行学习项目的学习的AR场景的过程中，采用了Marker-Less AR(少量标记增强现实)方法，来根据AR图文信息绘制AR场景，相比于传统的Marker based AR(基于标记的增强现实)方法，能够提升AR应用场景的绘制效率，下面对Marker-Less AR方法的原理做简单介绍。
Marker-Less AR方法将模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)，然后再从摄像机坐标系映射到屏幕坐标系(其实由于硬件误差这中间还需要理想屏幕坐标系到实际屏幕坐标系的转换。在实际的编码中，所有这些变换都是一个矩阵，在线性代数中矩阵代表一个变换，对坐标进行矩阵左乘便是一个线性变换，对于平移这种非线性变换，可以采用齐次坐标来进行矩阵运算，矩阵运算如下：
其中，矩阵C的学名叫摄像机内参矩阵，矩阵Tm叫摄像机外参矩阵，其中内参矩阵是需要事先进行摄像机标定得到的，而外参矩阵是未知的，需要我们根据屏幕坐标(xc,yc)，和事先定义好的Marker坐标系以及内参矩阵来估计Tm，然后绘制图形的时候根据Tm来绘制，初始估计的Tm不够精确，还需要使用非线性最小二乘法进行迭代寻优，比如使用OpenGL绘制的时候就要在GL_MODELVIEW的模式下加载Tm矩阵来进行图形显示。
Marker-Less AR方法和传统的Marker based AR不同处在于两者扫描模版的方法不同，Marker-Less AR方法是通过一系列算法(如：SURF，ORB，FERN等)对模板物体提取特征点，并记录或者学习这些特征点。当摄像头扫描周围场景，会提取周围场景的特征点并与记录的模板物体的特征点进行比对，如果扫描到的特征点和模板特征点匹配数量超过阈值，则认为扫描到该模板，然后根据对应的特征点坐标估计Tm矩阵，后面的步骤与Markerbased AR方法相同，即根据Tm进行图形绘制。
在实际应用中，可以使用编程语言如C语言、C++语言、Java语言等，基于本发明实施例提供的基于增强现实的学习互动方法，开发专门的AR学习方案的程序或APP(应用)，进而可以将该程序或APP应用到任何与教育相关的产品中，这样的产品如腾讯公司开发的ABCmouse产品，ABCmouse产品中可以设置上述程序或APP，进而在使用AR学习方案进行学习时，可以通过调用上述程序或运行上述APP，来为用户提供一个虚拟和现实相互交融的学习环境，该学习环境中不仅为用户提供多方位的交互式学习，还为用户呈现丰富的AR视觉体验，使用户在学习的同时还能够体验AR世界的趣味，进而让整个学习过程变得生动而有趣，不仅有利于提升用户的学习热情，还用利于用户更有效的掌握学习内容，从而达到提高用户的学习效率的目的。
基于同一发明构思，本发明实施例中提供了一种基于增强现实的学习互动装置，该装置的基于AR的学习互动方法的具体实施可参见上述方法实施例部分的描述，重复之处不再赘述，如图14所示，该装置包括：
确定单元20，用于根据获得的用户操作指令，确定用户选择的学习项目；
获取单元21，用于获取与学习项目关联的增强现实AR图文信息；
绘制单元22，用于根据AR图文信息，绘制用户进行学习项目的学习的AR场景，其中，AR场景中包括用于进行学习互动的AR对象以及由AR对象向用户展示的学习内容。
可选的，AR场景中包括学习项目的至少一种学习模式选项，在获得用户从至少一种学习模式选项中选择任一种学习模式的操作时，装置还包括：
控制单元23，用于根据用户选择的学习模式，控制AR对象以与学习模式匹配的行为特征，与用户进行学习互动。
可选的，所述获取单元，还用于：
获取现实世界的图像以及与所述学习项目关联的虚拟图文信息，所述AR图文信息包括所述现实世界的图像以及所述虚拟图文信息。
可选的，在学习项目具体为知识问答项目时，确定单元，还用于：
获得用户输入的语音信息；解析语音信息，并根据解析结果，确定与所述语音信息对应的答复语音信息；控制AR对象以对话的方式输出所述答复语音信息。
可选的，学习项目具体为书写练习项目时，确定单元，还用于：确定用户书写的内容是否正确；并在内容书写正确时，获取与内容相关的AR图像信息；根据AR图像信息，在AR场景中绘制用于表征内容的AR图像。
可选的，在学习项目具体为识别现实世界中的目标物体的项目，获取单元，还用于：从所述现实世界的图像中，确定待识别的目标物体；识别所述目标物体，并根据识别结果获取目标物体学习资料，其中，目标物体学习资料通过AR对象向用户进行展示。
可选的，绘制单元，还用于：根据现实世界的图像，绘制虚拟的现实世界；在虚拟的现实世界中的目标位置，根据虚拟图文信息，绘制AR对象，形成包括虚拟的现实世界以及AR对象的AR场景。
可选的，获取单元，还用于：基于神经网络R-FCN识别目标物体。
基于同一发明构思，本发明实施例中提供了一种基于增强现实的学习互动装置，如图15所示，包括至少一个处理器30、以及至少一个存储器31，其中，存储器31存储有计算机程序，当程序被处理器30执行时，使得处理器30执行如上的AR学习方案的实现方法的步骤。
基于同一发明构思，本发明实施例中提供了一种存储介质，存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如上的基于AR的学习互动方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (15)
1.一种基于增强现实的学习互动方法，其特征在于，包括：
根据获得的用户操作指令，确定所述用户选择的学习项目；
获取与所述学习项目关联的增强现实AR图文信息；
根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，其中，所述AR场景中包括用于进行学习互动的AR对象以及由所述AR对象向所述用户展示的学习内容。
2.如权利要求1所述的方法，其特征在于，所述AR场景中包括所述学习项目的至少一种学习模式选项，在获得所述用户从所述至少一种学习模式选项中选择任一种学习模式的操作时，所述方法还包括：
根据所述用户选择的学习模式，控制所述AR对象以与所述学习模式匹配的行为特征，与所述用户进行学习互动。
3.如权利要求1或2所述的方法，其特征在于，所述获取与所述学习项目关联的增强现实AR图文信息，具体为：
获取现实世界的图像以及与所述学习项目关联的虚拟图文信息，所述AR图文信息包括所述现实世界的图像以及所述虚拟图文信息。
4.如权利要求3所述的方法，其特征在于，在所述学习项目具体为知识问答项目时，所述方法还包括：
获得所述用户输入的语音信息；
解析所述语音信息，并根据解析结果，确定与所述语音信息对应的答复语音信息；
控制所述AR对象输出所述答复语音信息。
5.如权利要求3所述的方法，其特征在于，所述学习项目具体为书写练习项目时，所述方法还包括：
确定所述用户书写的内容是否正确；
并在所述内容书写正确时，获取与所述内容相关的AR图像信息；
根据所述AR图像信息，在所述AR场景中绘制用于表征所述内容的AR图像。
6.如权利要求3所述的方法，其特征在于，在所述学习项目具体为识别现实世界中的目标物体的项目，所述获取现实世界的图像之后，包括：
从所述现实世界的图像中，确定待识别的目标物体；
识别所述目标物体，并根据识别结果获取目标物体学习资料，其中，所述目标物体学习资料通过所述AR对象向所述用户进行展示。
7.如权利要求4-6任一项所述的方法，其特征在于，所述根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，具体包括：
根据所述现实世界的图像，绘制虚拟的现实世界；
在所述虚拟的现实世界中的目标位置，根据所述虚拟图文信息，绘制AR对象，形成包括所述虚拟的现实世界以及所述AR对象的AR场景。
8.如权利要求6所述的方法，其特征在于，所述识别所述目标物体，具体为：基于神经网络R-FCN识别所述目标物体。
9.一种基于增强现实的学习互动装置，其特征在于，包括：
确定单元，用于根据获得的用户操作指令，确定所述用户选择的学习项目；
获取单元，用于获取与所述学习项目关联的增强现实AR图文信息；
绘制单元，用于根据所述AR图文信息，绘制所述用户进行所述学习项目的学习的AR场景，其中，所述AR场景中包括用于进行学习互动的AR对象以及由所述AR对象向所述用户展示的学习内容。
10.如权利要求9所述的装置，其特征在于，所述AR场景中包括所述学习项目的至少一种学习模式选项，在获得所述用户从所述至少一种学习模式选项中选择任一种学习模式的操作时，所述装置还包括：
控制单元，用于根据所述用户选择的学习模式，控制所述AR对象以与所述学习模式匹配的行为特征，与所述用户进行学习互动；
所述获取单元，用于：
获取现实世界的图像以及与所述学习项目关联的虚拟图文信息，所述AR图文信息包括所述现实世界的图像以及所述虚拟图文信息。
11.如权利要求9或10所述的装置，其特征在于，在所述学习项目具体为知识问答项目时，所述确定单元，还用于：
获得所述用户输入的语音信息；
解析所述语音信息，并根据解析结果，确定与所述语音信息对应的答复语音信息；
控制所述AR对象输出所述答复语音信息；
所述学习项目具体为书写练习项目时，所述确定单元，还用于：
确定所述用户书写的内容是否正确；
并在所述内容书写正确时，获取与所述内容相关的AR图像信息；
根据所述AR图像信息，在所述AR场景中绘制用于表征所述内容的AR图像。
12.如权利要求9或10所述的装置，其特征在于，在所述学习项目具体为识别现实世界中的目标物体的项目，所述获取单元，还用于：
从现实世界的图像中，确定待识别的目标物体；
识别所述目标物体，并根据识别结果获取目标物体学习资料，其中，所述目标物体学习资料通过所述AR对象向所述用户进行展示。
13.如权利要求12所述的装置，其特征在于，所述绘制单元，还用于：
根据所述现实世界的图像，绘制虚拟的现实世界；
在所述虚拟的现实世界中的目标位置，根据所述虚拟图文信息，绘制AR对象，形成包括所述虚拟的现实世界以及所述AR对象的AR场景。
14.一种基于增强现实的学习互动装置，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～7任一项所述方法的步骤。
15.一种存储介质，其特征在于，所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7任一权利要求所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811052278.8A CN110162164B (zh) | 2018-09-10 | 2018-09-10 | 一种基于增强现实的学习互动方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811052278.8A CN110162164B (zh) | 2018-09-10 | 2018-09-10 | 一种基于增强现实的学习互动方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110162164A true CN110162164A (zh) | 2019-08-23 |
| CN110162164B CN110162164B (zh) | 2024-08-20 |
Family
ID=67645022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811052278.8A Active CN110162164B (zh) | 2018-09-10 | 2018-09-10 | 一种基于增强现实的学习互动方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110162164B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110958325A (zh) * | 2019-12-11 | 2020-04-03 | 联想(北京)有限公司 | 一种控制方法、装置、服务器及终端 |
| CN111127669A (zh) * | 2019-12-30 | 2020-05-08 | 北京恒华伟业科技股份有限公司 | 一种信息处理方法及装置 |
| CN111182387A (zh) * | 2019-12-03 | 2020-05-19 | 广东小天才科技有限公司 | 一种学习互动方法及智能音箱 |
| CN111563514A (zh) * | 2020-05-14 | 2020-08-21 | 广东小天才科技有限公司 | 一种三维字符的显示方法及装置、电子设备、存储介质 |
| CN111639221A (zh) * | 2020-05-14 | 2020-09-08 | 广东小天才科技有限公司 | 一种3d模型的加载显示方法及电子设备 |
| CN112001824A (zh) * | 2020-07-31 | 2020-11-27 | 天津洪恩完美未来教育科技有限公司 | 基于增强现实的数据处理方法及装置 |
| CN112911266A (zh) * | 2021-01-29 | 2021-06-04 | 深圳技术大学 | 基于增强现实技术的物联网实训系统的实现方法及系统 |
| CN113221675A (zh) * | 2021-04-25 | 2021-08-06 | 行云新能科技（深圳）有限公司 | 传感器辅助学习方法、终端设备及计算机可读存储介质 |
| CN113299134A (zh) * | 2021-05-26 | 2021-08-24 | 大连米乐宏业科技有限公司 | 青少年互动安全教育增强现实显示方法及系统 |
| CN113990128A (zh) * | 2021-10-29 | 2022-01-28 | 重庆电子工程职业学院 | 基于ar的智能显示系统 |
| CN114926606A (zh) * | 2022-03-29 | 2022-08-19 | 武汉理工大学 | 基于增强现实的树洞聊天收发方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130260346A1 (en) * | 2010-08-20 | 2013-10-03 | Smarty Ants Inc. | Interactive learning method, apparatus, and system |
| CN106128212A (zh) * | 2016-08-27 | 2016-11-16 | 大连新锐天地传媒有限公司 | 基于增强现实技术的书法学习系统及方法 |
| CN106254848A (zh) * | 2016-07-29 | 2016-12-21 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于增强现实的学习方法及终端 |
| CN106846971A (zh) * | 2016-12-30 | 2017-06-13 | 武汉市马里欧网络有限公司 | 基于ar的儿童书法学习系统及方法 |
| KR20180032161A (ko) * | 2016-09-21 | 2018-03-29 | 강거웅 | 문자 카드 세트를 이용한 언어 학습 시스템 및 방법 |
-
2018
- 2018-09-10 CN CN201811052278.8A patent/CN110162164B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130260346A1 (en) * | 2010-08-20 | 2013-10-03 | Smarty Ants Inc. | Interactive learning method, apparatus, and system |
| CN106254848A (zh) * | 2016-07-29 | 2016-12-21 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于增强现实的学习方法及终端 |
| CN106128212A (zh) * | 2016-08-27 | 2016-11-16 | 大连新锐天地传媒有限公司 | 基于增强现实技术的书法学习系统及方法 |
| KR20180032161A (ko) * | 2016-09-21 | 2018-03-29 | 강거웅 | 문자 카드 세트를 이용한 언어 학습 시스템 및 방법 |
| CN106846971A (zh) * | 2016-12-30 | 2017-06-13 | 武汉市马里欧网络有限公司 | 基于ar的儿童书法学习系统及方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111182387A (zh) * | 2019-12-03 | 2020-05-19 | 广东小天才科技有限公司 | 一种学习互动方法及智能音箱 |
| CN110958325A (zh) * | 2019-12-11 | 2020-04-03 | 联想(北京)有限公司 | 一种控制方法、装置、服务器及终端 |
| CN111127669A (zh) * | 2019-12-30 | 2020-05-08 | 北京恒华伟业科技股份有限公司 | 一种信息处理方法及装置 |
| CN111563514B (zh) * | 2020-05-14 | 2023-12-22 | 广东小天才科技有限公司 | 一种三维字符的显示方法及装置、电子设备、存储介质 |
| CN111563514A (zh) * | 2020-05-14 | 2020-08-21 | 广东小天才科技有限公司 | 一种三维字符的显示方法及装置、电子设备、存储介质 |
| CN111639221A (zh) * | 2020-05-14 | 2020-09-08 | 广东小天才科技有限公司 | 一种3d模型的加载显示方法及电子设备 |
| CN111639221B (zh) * | 2020-05-14 | 2024-04-19 | 广东小天才科技有限公司 | 一种3d模型的加载显示方法及电子设备 |
| CN112001824A (zh) * | 2020-07-31 | 2020-11-27 | 天津洪恩完美未来教育科技有限公司 | 基于增强现实的数据处理方法及装置 |
| CN112911266A (zh) * | 2021-01-29 | 2021-06-04 | 深圳技术大学 | 基于增强现实技术的物联网实训系统的实现方法及系统 |
| CN113221675B (zh) * | 2021-04-25 | 2023-10-20 | 行云新能科技（深圳）有限公司 | 传感器辅助学习方法、终端设备及计算机可读存储介质 |
| CN113221675A (zh) * | 2021-04-25 | 2021-08-06 | 行云新能科技（深圳）有限公司 | 传感器辅助学习方法、终端设备及计算机可读存储介质 |
| CN113299134A (zh) * | 2021-05-26 | 2021-08-24 | 大连米乐宏业科技有限公司 | 青少年互动安全教育增强现实显示方法及系统 |
| CN113990128A (zh) * | 2021-10-29 | 2022-01-28 | 重庆电子工程职业学院 | 基于ar的智能显示系统 |
| CN114926606A (zh) * | 2022-03-29 | 2022-08-19 | 武汉理工大学 | 基于增强现实的树洞聊天收发方法及设备 |
| CN114926606B (zh) * | 2022-03-29 | 2024-08-09 | 武汉理工大学 | 基于增强现实的树洞聊天收发方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110162164B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110162164A (zh) | 一种基于增强现实的学习互动方法、装置及存储介质 | |
| Lane | Machine learning for kids: A project-based introduction to artificial intelligence | |
| CN106128212B (zh) | 基于增强现实技术的书法学习系统及方法 | |
| US10354540B2 (en) | Method for generating a dedicated format file for a panorama mode teaching system | |
| CN105702103B (zh) | 一种基于镜片反射的数字识别处理系统实现方法 | |
| CN110992222A (zh) | 教学交互方法、装置、终端设备及存储介质 | |
| CN110310528A (zh) | 一种纸云互动语言教学系统和方法 | |
| CN108762878A (zh) | 一种应用程序互动界面生成方法、装置、设备及存储介质 | |
| CN110827595A (zh) | 虚拟教学中的互动方法、装置及计算机存储介质 | |
| CN108958731A (zh) | 一种应用程序界面生成方法、装置、设备和存储介质 | |
| CN109167913B (zh) | 一种语言学习型相机 | |
| US20240078751A1 (en) | Systems and methods for educating in virtual reality environments | |
| CN106846972A (zh) | 图形绘制训练方法及装置 | |
| CN113627260A (zh) | 识别手写汉字的笔顺的方法、系统和计算设备 | |
| CN108268520B (zh) | 课件的控制方法、装置及在线课程直播系统 | |
| CN113253838A (zh) | 基于ar的视频教学方法、电子设备 | |
| TWI704536B (zh) | 語言學習系統 | |
| Zhang et al. | Educational Technology in the Post-Pandemic Era: Current Progress, Potential, and Challenges | |
| KR20110024880A (ko) | 증강현실 기술을 이용한 문장 학습 방법 및 시스템 | |
| CN113963306B (zh) | 基于人工智能的课件片头制作方法和装置 | |
| CN111695496A (zh) | 一种智能互动学习方法、学习编程方法及机器人 | |
| CN111050111A (zh) | 一种在线互动学习交流平台及其学习装置 | |
| CN110766997A (zh) | 一种临摹展示方法、装置及存储介质 | |
| CN111582281B (zh) | 一种图片显示优化的方法、装置、电子设备和存储介质 | |
| CN114661196A (zh) | 一种习题展示方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |