CN109545007A - 一种基于增强现实的实体编程系统、方法及学具 - Google Patents

Abstract

本发明公开了一种基于增强现实的实体编程系统、方法及学具，一种基于增强现实的实体编程系统，包括：若干个特征码，所述特征码被配置用于解析对应的程序语句；移动端，所述移动端为具有存储和计算能力的微型计算机结构，并包括有摄像部件和显示部件，所述摄像部件能够采集图像信息，所述显示部件能够实现对使用者进行视觉呈现，所述移动端安装有增强现实实体编程软件，所述增强现实实体编程软件能够解析所述特征码。本发明包括一种基于增强现实的高解析实体编程方法和一种学具。通过本发明可以解决现有技术在实体编程过程中识别能力低下的技术问题。

Description

一种基于增强现实的实体编程系统、方法及学具

技术领域

本发明属于人机交互领域，特别涉及一种基于增强现实的实体编程系统、方法及学具。

背景技术

增强现实((Augmented Reality，AR))技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。

学习编程不仅对儿童的数学和科学知识方面有帮助，而且对语言、创造力和社交能力等方面的能力培养都有着积极的作用。而实体交互技术旨在利用人们与真实的物理世界互动形成的技能直接操纵和控制数字信息。儿童可以通过实体交互直接通过操作与计算设备进行交互，并且可以简化编程的过程，使得程序的结构更加直观、具体。因此，实体编程为儿童学习计算机编程提供了一条可行的途径。另一方面，随着增强现实技术的日趋成熟，基于增强现实的系统也提供给儿童体验新的交互方式的机会。

但在现有的实体编程系统中，由于编程块识别及解析的局限性，使得编程指令通常仅限于单线执行的动作指令模块，如控制角色运动的向前几步、转弯动作等，无法较完整全面地演示编程的多种逻辑控制，使得实体编程为儿童学习计算机编程停留在简单的路径运动规划，内容也较为单一；

同时由于在现有实体编程过程中，编程块体型小、多块模块摆放在一起，增强现实软件在识别过程中，识别率低下、识别错误、识别混乱的情况时有发生，严重影响了识别和编译过程，也降低了使用者的学习效能。

发明内容

本发明的目的在于提供一种基于增强现实的实体编程系统、方法及学具，以解决现有技术在实体编程过程中识别能力低下的技术问题。

为了实现上述目的，本发明的技术方案如下：

一种基于增强现实的实体编程系统，包括

若干个特征码，所述特征码被配置用于解析对应的程序语句；

移动端，所述移动端为具有存储和计算能力的微型计算机结构，并包括有摄像部件和显示部件，所述摄像部件能够采集图像信息，所述显示部件能够实现对使用者进行视觉呈现，所述移动端安装有增强现实实体编程软件，所述增强现实实体编程软件能够解析所述特征码。

进一步的，所述一种基于增强现实的实体编程系统包括场景图片，所述场景图片被配置用于描述当前编程任务，并用于解析程序指令运行的场景内容。可以为编程提供任务内容，并为增强现实运行提供生动的场景内容。

进一步的，所述特征码载附于实体编程块的上表面，所述实体编程块为长方体结构。便于用户使用和拼接。

进一步的，所述实体编程块四周侧壁设置有凸块或凹槽。便于将实体编程块进行横向和纵向的拼接与对齐。

进一步的，所述特征码设置有状态图标。状态图标可以在增强现实编程处理软件时，显示编译过程及执行状态，也可以显示错误状态，提高使用的编程学习效能。

进一步的，所述实体编程块设置有差异的外观颜色，所述差异的外观颜色被配置用于区别不同类型程序语句解析的实体编程块。针对如动作指令、循环控制指令和判断控制指令等，提供不同的颜色涂装，便于为使用者分辨和使用。

一种基于增强现实的高解析实体编程方法，其步骤包括：

摆放载附有编程码的实体编程块，得到一实体编程块组合；

移动端调用摄像部件捕捉当前实体编程组合中的所有实体编程块的特征码，并获得当前实体编程组合的表单信息；

根据表单信息，根据实体编程模块的特征码解析出对应的程序语句，并将实体编程块组合转换为对应的程序指令；

在移动端将所述程序指令的运行效果叠加在通过摄像部件采集的真实场景中。

进一步的，在“根据表单信息，根据实体编程模块的特征码解析出对应的程序语句，并将实体编程块组合转换为对应的程序指令；”步骤之后，将所述的程序指令代码在移动端显示部件中显示。可以便于使用者理解程序指令，检查纠错所拼接实体编程块组合，提高编程学习效果和对编程语句的理解。

进一步的，在“在移动端将所述程序指令的运行效果叠加在通过摄像部件采集的真实场景中。”步骤之前，通过移动端调用摄像部件捕捉到场景图片，并将场景图片转换为程序指令运行的场景内容。为程序指令运行提供使用者喜闻乐见的运行背景，一方面用于验证程序指令的运行结果，另一方面可以提高趣味性和观赏性，提高使用者的学习积极性。

一种学具，包括前述一种基于增强现实的实体编程系统。

采用上述方案后，本发明对比现有技术，具有以下有益好处：

本发明将实体编程与增强现实技术相结合，包括儿童在内的初学者可以通过拼接载附有特征码的实体编程块来接触和学习编程技能，同时为了减少儿童对屏幕的依赖，使用者可以在脱离屏幕的情况下，通过对实体编程块的拼接演练，指导者对使用者拼接的引导和分析，使使用者理解和提高编程水平，同时最后通过增强现实移动端，展现场面丰富的场景、角色及完成效果，大大提高了编程的科技感、观赏性和趣味性，从而提高使用者的编程学习效能和兴趣；

本发明在实体编程块设置有特征码，可以大大提高识别效能，和识别的准确性，从而提高了实体编程块组合的整体解析能力，从而实现增强现实软件正确完整全面地解析实体编程块组合的程序指令；

在本发明中增强现实实体编程系统通过使用特征码的方式来区别或者读取对应的实体编程块，移动端只需要调用通常是现有的摄像部件通过视觉识别的方式来操作，具有识别率高、成本低和系统稳定的特点，本特征码识别方式相比于传统的二维码等方式，具有个性化、自定义能力强、界面灵活美观且易设计、编辑和应用方便的特点；相比于传统的WIFI或蓝牙等方式，具有成本低廉、无需电源支撑和无需额外的硬件及适配器的支持的特点；比传统的NFC(近距离无线通讯技术)或RFID射频等无线数据传输方式，具有成本低廉、设计灵活、无需额外的硬件及适配器的支持，同时还便于对特征码的位置及角度的识别等特点；

本发明一种基于增强现实的高解析实体编程系统，在硬件部分，只需要实体编程块、场景图片以及常规的智能手机或平板电脑作为移动端就可以实施，其中实体编程块和场景图片制作成本低、使用便捷、也不易破损，并于推广与普及。

附图说明

图1为本发明的整体运行构架图。

图2A图2B图2C为图形码的结构示意图。

图3为部分图形码元素被遮挡后的图形码结构示意图。

图4为载附有编程码的实体编程块示意图。

图5为对应表单示意图。

图6为场景卡片示意图。

图7为实体编程块组合示意图。

图8为增强现实运行示意图。

具体实施方式

本发明的初衷是提供一种为儿童等计算机程序初学者为对象的便于教学的，亦可以自己独立学习使用的编程教学用具，针对使用者的特殊性，我们并不希望儿童长时间去面对屏幕，在对实体编程块的选择中，也考虑简单、直观、易用的原则；在增强现实系统去还原程序指令时，首先要保证正确高效地体现使用者实际实体编程块组合的语句解析，如果得到错误的解析，那教学的效果将大打折扣，甚至起到反作用；为了更好便于推广和普及，使更多人得到受益，发明人还致力于简化系统、降低成本、提高易用性和趣味性，并使物件耐用及不易破损。

为了使本技术领域的技术人员更好地了解，下面结合附图和实施方式对本发明作进一步的详细说明。

首先说明一下本发明需要使用到的一些软硬件平台和工具：

高通Vuforia是一个能让应用拥有视觉的软件平台，开发者借助它可以比较容易地为任何应用添加先进计算机视觉功能，可以识别图片和物体，或者以真实世界为基础，重建环境内容；Vuforia AR SDK(高通增强现实技术软件开发包)可以在3D软件开发(集成开发工具) 如Unity 3D或UnReal中应用将上传的图片或物体生成对应的三维场景物体；

移动端，该移动端是指具有存储和计算能力的微型计算机结构，能够运行增强现实移动端软件的使用终端，并包括有摄像头和显示部件，所述摄像头能够采集图片信息，所述显示部件能够实现对使用者进行视觉呈现，在一些情况下，摄像头可以通过有线或无线的连接方式与所述移动端进行连接，典型的移动端包括具有Android或iOS等操作系统的智能手机或平板电脑，也包括可以运行增强现实移动端软件的AR智能眼镜等智能设备。

参考图1，资源制作步骤，对于增强现实所需要的模型、场景、角色、动作和特效资源可以使用3D软件制作，该3D软件可以为3Dmax或MAYA等；对于语音素材可以使用语音生成软件制作，该语音生成软件可以为Adobe Audition。

资源开发步骤，使用综合性3D开发引擎，如Unity 3D，将资源制作步骤中生成的资源进行开发。

软件制作步骤，使用增强现实软件开发工具，如Vuforia，对资源开发步骤后的内容编译并打包，生成移动端可以运行的可执行程序或安装包，最终使移动端具备增强现实实体编程软件。

一种基于增强现实的实体编程系统包括若干个特征码和移动端，在需要时可以提供场景图片，该场景图片用于描述当前编程任务，并用于解析程序指令运行的场景内容。

参考图2A特征码包括边框310，边框310的外缘和实体编程块涂装颜色有着明显的颜色反差，本实施例所述的明显的颜色反差是指，将两个颜色进行灰度处理后其两者的灰度对比值大于等于40％，在实体编程块的涂装颜色为蓝色、绿色、橙色、黄色或绿色时，为了便于识别到边框310及其范围，边框310的颜色可以为白色；边框310的宽度通常不小于整个边框310所包括的识别区域宽度的3％，在现有摄像部件分辨率条件下，边框310的宽度推荐应当大于2毫米；

特征码包括边框310和设置在边框310的内部的若干图形码，图形码可以为若干大小不一矩形的组合(参考图2A)，也可以为若干直径不一的圆或椭圆或扇形的组合(参考图2B)，或者为由多个包括但不限于多边形、圆形、椭圆形的图形组合或及其叠加或切除的图形组合 (参考图2C)，图形码的颜色与边框310内部的填充颜色有明显的颜色反差，以提高识别率，不同的实体编程块，其特征码是不同的，即便是相同功能的实体编程块，其特征码也可以设置为不同，可以提高识别率并减少串码的情况；

在特征码设计和制作过程中，在确定图形码的式样的基础上，参考图2A通过Illustrator 图形软件生成一个包括边框310与包括全部图形码元素组合的母图形码，参考图3然后生成部分图形码元素不显示的子图形码，并用同样的方式得到一组子图形码(1，n)，其中的“n”为整数并且大于等于1，可以得知的是：子图形码(1，n)一定为母图形码的子集，为了更好便于摄像部件识别，可以将子图形码(1，n)之间具有明显形状及分布差别，后将子图形码(1，n) 放置在边框310内部；

同时在边框310内部，在不影响母图形码范围的空白处设置有矩形块，该矩形框被配置用于识别及程序解析过程中所显示的状态图标320，在边框310内部的中心位置可以设置有便于使用者分辨的参考图标321，该参考图标321可以用于直观示意的描述该实体编程块的功用的说明，参考图标并不参与增强现实实体编程软件的实体编程块的识别操作，最终通过上述的组合，生成一组特征码(1，n)；

特征码ID的生成，参考图2A通过设置在边框310内部的16个元素301、302～316组成母图形码，在元素301-316全部显示时，该母图形码可被增强显示实体编程软件读取为一个 16位的二进制数值1111111111111111，由于在子图形码(1，n)制作过程中，比如其中部分图形码元素被遮挡，参考图3，在图形码元素302和303被遮挡时得到的二进制数值1001111111111111，通过这样的方式，并使特征码(1，n)、子图形码(1，n)与特征码ID一一对应；

将特征码(1，n)分别印刷或粘贴至对应的实体编程块上，得到多个载附有编程码的实体编程块；

作为优选的实施例，参考图4，载附有特征码的实体编程块为长方体结构，其为长约为6 厘米、宽约为3厘米、厚度约为0.5厘米的长方体块，四周设有圆角倒角，便于使用者拿取，实体编程块的四周侧壁处设置有圆弧形的凸块401和凹槽402，在拼接时，通过对应的凸块 401或凹槽402的位置限制，使用者可以方便将多个实体编程块进行横向或纵向的拼接，横向及纵向的拼接有利于对程序语句的解析，也便于使用者了解和学习编程语言结构；在实体编程块可设有若干分类，如动作指令块、控制指令块和探测指令块等，动作指令块可以用于控制角色运动的方向或者旋转的角度，控制指令块可以用于循环语句，探测指令块可以用于判定语句；为了便于识别和使用，动作指令块设有橙色涂装，控制指令块设有蓝色涂装，探测指令块根据不同的探测调节可以设置其他有差异的颜色涂装。

在资源开发端，将在Illustrator图形软件制作的母图形码和特征码(1，n)导入至Vuforia，并如图5所示在Vuforia中生成与特征码(1，n)匹配的对应表，即该对应表能够将特征码ID 与特征码(1，n)及载附有特征码的实体编程块一一匹配；

同样在资源开发端，使用3D制作软件及语言生成软件，制作生成增强现实所需要的模型、场景、角色、动作和特效等资源，并针对于每一个附有特征码的实体编程块的程序解析所对应的资源，并将这些资源导入至Unity 3D，同时将附有特征码的实体编程块的程序解析所对应的操作生成资源与特征码(1，n)一一匹配。

作为一种优选的实施例，参考图6场景图片可以为一种实体卡片，表面绘制有可识别的场景图案，作为一种运动路径的实体编程，场景图片由8×8的格子组成，其中包括有角色出生点601、路径和目的地点602，路径由非行走区域605围合而成，其中黄色块603和紫色块 604为判断块，为了更好并生动的展现场景，在非行走区域605中可以包括一些自然或建筑等元素，在对运动路径的实体编程过程中，场景图片中的角色从出生601点通过路径到达目的地点602的过程即为编程的任务。

在资源开发端，将Vuforia对应的数据、Unity 3D对应的数据、及资源开发的资源通过设置和打包生成针对于Android或iOS操作系统运行的增强现实实体编程软件。

在本案中将针对具体的基于增强现实的实体编程进行进一步说明：

一种基于增强现实实体编程系统的学具，包括载附有特征码的实体编程块、场景图片和Android智能手机，其中实体编程块包括橙色的方向指令模块4个三组共计12块；分别对应角色运动的上下左右方向，蓝色的循环指令模块5块，分别循环2、3、4、5和6次循环一次；绿色的无限循环指令模块1块，黄色、紫色的判断指令模块各1块；

场景图片若干张，在场景图片中，包括有角色出生点、目的地点，使用者通过理解场景图片，并通过正确的指令使角色从出生点到达至目的地点；

通过前述方式，在Android智能手机中已经安装有对应的增强现实实体编程软件。

使用者通过观察并理解如图6所示的当前场景图片的任务内容，对实体编程块进行横向或纵向进行拼接，得到如图7所示的一实体编程块组合；

当使用者确定实体编程块组合后，运行智能手机中的增强现实实体编程软件，并对显示屏进行相应的触摸操作，软件调用智能手机的摄像头，摄像头捕捉到实体编程块组合的图片，后通过边框识别出特征码的范围，并逐一比对每一个特征码中的子图形码是否为子集于当前的母图形码，如果结果为“否”则对其不做识别操作，如果结果为“是”则通过对应表解析其ID，并对所有特征码依循从上到下、从左到右的原则对特征码进行排序，在识别解析过程中，通过增强现实实体编程软件及摄像头及显示屏，可以将识别过程及实体编程块组合的语法问题通过增强现实的方式，通过状态图标320的不同颜色的显示，比如在被读取时状态图标320被显示为绿色，在解析当前实体编程块发生语法错误时其状态图标320被显示为红色，以便于使用者认知及了解对应的语法状态，并最终可以将图7所示的实体编程块组合解析为以下Python计算机语言代码：

在增强现实实体编程软件中，使用者可以有选择的将上述Python计算机语言代码显示在智能手机的显示屏上，以便于学习和理解；

在增强现实实体编程软件中，软件调用存储的资源、执行上述计算机语言代码，并调用摄像头对场景图片和真实环境进行捕捉，并使计算机语言的执行效果叠加到真实环境中，实现增强现实的运行效果，参考图8即在场景图片上叠加立体的显示效果，并将角色依循使用者拼接的实体编程块组合所解析后的计算机语言代码在场景图片上移动，若角色的移动符合当前任务要求，则播可以放对应的媒体内容，若角色的移动不符合当前任务的要求，则角色可以停留在出错的位置，并可以播放与之对应的媒体内容，以实现直观地验证使用者拼接的实体编程块组合是否完成当前场景图片的任务的教学内容，在符合任务要求时，起到鼓励的作用，当不符合任务要求时，起到提示和帮助作用，从而最终实现了使用者对编程的认知与学习。

自此，本一种基于增强现实的实体编程系统依循其方法实现了本发明所实施方案，提高了对实体编程块的识别率和识别效能，并为初学者提供了一种高效的、直观的计算机编程学习方式，同时包含本系统及方法的学具具备了简单、直观、高效和便于操作及教学的特点。

以上通过具体实施方式对本发明技术方案进行详细说明和描述，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进或变形，这些改进或变形也应该视为落在本发明的保护范围之内。

Claims (10)

1.一种基于增强现实的实体编程系统，其特征在于：包括

若干个特征码，所述特征码被配置用于解析对应的程序语句；

移动端，所述移动端为具有存储和计算能力的微型计算机结构，并包括有摄像部件和显示部件，所述摄像部件能够采集图像信息，所述显示部件能够实现对使用者进行视觉呈现，所述移动端安装有增强现实实体编程软件，所述增强现实实体编程软件能够解析所述特征码。

2.根据权利要求1所述的一种基于增强现实的实体编程系统，其特征在于：所述一种基于增强现实的实体编程系统包括场景图片，所述场景图片被配置用于描述当前编程任务，并用于解析程序指令运行的场景内容。

3.根据权利要求1所述的一种基于增强现实的实体编程系统，其特征在于：所述特征码载附于实体编程块的上表面，所述实体编程块为长方体结构。

4.根据权利要求3所述的一种基于增强现实的实体编程系统，其特征在于：所述实体编程块四周侧壁设置有凸块或凹槽。

5.根据权利要求3所述的一种基于增强现实的实体编程系统，其特征在于：所述特征码设置有状态图标。

6.根据权利要求3所述的一种基于增强现实的实体编程系统，其特征在于：所述实体编程块设置有差异的外观颜色，所述差异的外观颜色被配置用于区别不同类型程序语句解析的实体编程块。

7.一种基于增强现实的高解析实体编程方法，其步骤包括：

摆放载附有编程码的实体编程块，得到一实体编程块组合；

移动端调用摄像部件捕捉当前实体编程组合中的所有实体编程块的特征码，并获得当前实体编程组合的表单信息；

根据表单信息，根据实体编程模块的特征码解析出对应的程序语句，并将实体编程块组合转换为对应的程序指令；

在移动端将所述程序指令的运行效果叠加在通过摄像部件采集的真实场景中。

8.根据权利要求7所述的一种基于增强现实的高解析实体编程方法，其特征在于：在“根据表单信息，根据实体编程模块的特征码解析出对应的程序语句，并将实体编程块组合转换为对应的程序指令；”步骤之后，将所述的程序指令以代码形式在移动端显示部件中显示。

9.根据权利要求7所述的一种基于增强现实的高解析实体编程方法，其特征在于：在“在移动端将所述程序指令的运行效果叠加在通过摄像部件采集的真实场景中。”步骤之前，通过移动端调用摄像部件捕捉到场景图片，并将场景图片转换为程序指令运行的场景内容。

10.一种学具，包括权利要求1-6任意一项所述的一种基于增强现实的实体编程系统。