CN109240682A - 基于ar的交互编程系统、方法、介质及智能设备 - Google Patents

Abstract

本发明提供了一种基于AR的交互编程系统、方法、介质及智能设备，包括：将现实对象的影像与虚拟对象叠加呈现；获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；根据所述程序指令集，指示现实对象执行动作。本发明对现有技术中的编程玩具进行改进，在编程过程中涉及现实对象的影像与虚拟对象之间的交互、现实对象与智能设备之间的交互、虚拟对象与使用者之间的交互，充分结合AR技术，使得编程玩具适合作为儿童的智能陪伴。

Description

基于AR的交互编程系统、方法、介质及智能设备

技术领域

本发明涉及玩具领域，具体地，涉及基于AR的交互编程系统、方法、介质及智能设备。

背景技术

专利文献CN1267228A、专利文献CN1223158A分别公开了可编程的玩具，属于较早的编程玩具。这样的编程玩具仅停留在脱机、离线的现实状态，不能通过虚拟手段增强现实。

但是值得注意的是，从技术发展的沿革来看，专利文献CN1223158A是后续AR编程玩具的重要研发基础。专利文献CN1223158A提供给使用者一系列的动作按键，通过先后按下不同的按键实现对玩具的运动动作的编程，其优先权日期为1997年，当时家用PC尚未普及，国内编程技能的学习主要集中在面向成年人的高校院所；而专利文献CN1223158A能在上世纪90年代提供面向儿童的编程玩具，于当时着实是一种非常好玩、值得“炫耀”的玩具，其研发人员的超前创新意识以及对儿童玩具的关注为后续改进具有很强的借鉴基础。

之后，随着计算机技术的发展，研发人员不再苦于计算机器件的短板，编程玩具能够越来越多地匹配创意进入实用。例如，专利文献CN101789194A公开了一种积木式学习编程装置，其包括多种不同类型的实体积木块，每种类型的积木块中含有相应的指令信息，将积木块连接单片机后，使得单片机根据积木块中的指令信息输出控制信号，呈现声、光、电等效果。但是，专利文献CN101789194A提供的编程效果的交互性仍然不足。

当然，在人们开始关注到计算机产品的不过度使用对儿童视力、社交能力的影响，也发展出另一个技术分支。在该技术分支下，编程玩具被尽量地远离智能技术。例如，专利文献CN105396295A公开了一种面向儿童的空间编程机器人玩具，其采用多个指令标签顺序排列，每个指令标签上有若干控制指令，机器人车体顺序读取各指令标签上的控制指令，并依次相应执行控制指令指示的指令动作。不过，防沉迷软件、利用加速度传感器识别并辅助提醒观看坐姿等技术已得到重视与发展。因此，类似专利文献CN105396295A这样的编程过程脱离智能设备的技术方案，与AR编程玩具的技术领域之间的距离较远。

当前，随着近年来才得以发展的AR技术，可使用AR(Augmented Reality)技术增强交互性加以改进。为此，科研人员就AR技术与玩具之间交互性的增强，进行了尝试与创造。

专利文献CN106730899A公开了一种玩具的控制方法及系统，其采用AR技术，实现实体玩具与虚拟玩具之间的同步运动。但是，专利文献CN106730899A中实体玩具与虚拟玩具之间的交互过程属于同步控制，仅实现了实体玩具的虚拟化控制，以及虚拟玩具的实体化控制，并未将实体玩具与虚拟玩具在同一空间中进行交互。

专利文献CN105931289A是较为典型的将实体玩具与虚拟玩具在同一空间中进行交互的技术方案，其公开了一种实现真实模型遮盖虚拟物体的系统及方法，例如可以实现令虚拟恐龙在显示件中显示，并被真实丛林景观插板遮挡住的效果，视觉上虚拟恐龙可以在真实丛林景观插板中来回穿梭。反之，另虚拟物体遮挡实体物体的效果也可以相应实现。

综上所述，与AR编程玩具相关的主要涉及“编程”与“AR”。其中，非AR的编程玩具出现得较早，而后随着AR的发展才得到相结合。遵循这一跨越20多年的研发过程，有必要考虑如何将AR与编程相结合以提高编程的交互效果，使得这种交互在儿童的学习成长中提供更多的陪伴。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于AR的交互编程系统、方法、介质及智能设备。

根据本发明提供的一种基于AR的交互编程系统，包括：

AR模块：将现实对象的影像与虚拟对象叠加呈现；

所述基于AR的交互编程系统，还包括：

编程模块：获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；

执行模块：根据所述程序指令集，指示现实对象执行动作。

优选地，还包括：

匹配模块：呈现现实对象的影像与虚拟对象之间的相对关系。

优选地，所述编程模块包括：

编程单元获取模块：根据第一操作输入信息，获取多个程序指令单元；

时序关系获取模块：根据第二操作输入信息，获取所述多个程序指令单元之间执行的时序关系；

指令集生成模块：根据所述多个程序指令单元、时序关系，生成所述程序指令集。

优选地，所述匹配模块包括如下任一个或任多个模块：

匹配尺寸模块：呈现现实对象的影像与虚拟对象之间的尺寸相对关系，通过尺寸交互，使得现实对象的影像与虚拟对象之间的尺寸相匹配；其中，所述尺寸交互是指：提示现实对象的影像与虚拟对象之间的尺寸差异，或者，指示现实对象移动以改变所述影像的尺寸；

匹配朝向模块：呈现现实对象的影像与虚拟对象之间的朝向相对关系，通过朝向交互，使得现实对象的影像与虚拟对象之间的朝向相匹配；其中，所述朝向交互是指：提示现实对象的影像与虚拟对象之间的朝向差异，或者，指示现实对象转动以改变所述影像的朝向。

优选地，所述匹配模块还包括：

障碍排除模块：判断虚拟对象与现实障碍物之间是否冲突；若不冲突，则确认不冲突；若冲突，则：

-提示冲突；

-指示现实对象进行运动使得虚拟对象与现实障碍物之间不冲突；或者

-更新虚拟对象使得虚拟对象与现实障碍物之间不冲突。

优选地，所述虚拟对象包括虚拟场地，所述虚拟场地采用如下任一种方式呈现：

-根据预设参数呈现；

-根据现实对象的影像与虚拟对象之间的相对关系呈现；

-在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现。

优选地，还包括：

虚拟交互响应模块：根据现实对象执行的动作，呈现虚拟对象针对现实对象的影像的虚拟交互响应。

优选地，还包括：

现实交互响应模块：根据所述虚拟交互响应，指示所述现实对象执行现实交互响应。

优选地，还包括：

编程界面模块：提供可视编程界面；其中，所述编程界面模块包括如下任一个或任多个模块：

-叠加呈现模块：令所述现实对象的影像与虚拟对象，在所述可视编程界面中叠加呈现；

-操作呈现模块：令图形化的程序指令单元，在所述可视编程界面中，随使用者的操作呈现对应的可视效果；

-执行呈现模块：令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示；

-省略呈现模块：根据使用者对程序指令单元的指定，指示现实对象直接响应被指定的程序指令单元被执行后对应的动作，并在所述可视编程界面中呈现。

优选地，所述编程界面模块，还包括如下任一个或任多个模块：

第一界面切换模块：根据第三操作输入信息，从所述操作呈现模块到所述执行呈现模块进行触发切换；

第二界面切换模块：根据虚拟对象针对现实对象的影像的虚拟交互响应，从所述执行呈现模块到所述操作呈现模块进行触发切换。

根据本发明提供的一种基于AR的交互编程方法，包括：

AR步骤：将现实对象的影像与虚拟对象叠加呈现；

所述基于AR的交互编程方法，还包括：

编程步骤：获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；

执行步骤：根据所述程序指令集，指示现实对象执行动作。

优选地，还包括：

匹配步骤：呈现现实对象的影像与虚拟对象之间的相对关系。

优选地，所述编程步骤包括：

编程单元获取步骤：根据第一操作输入信息，获取多个程序指令单元；

时序关系获取步骤：根据第二操作输入信息，获取所述多个程序指令单元之间执行的时序关系；

指令集生成步骤：根据所述多个程序指令单元、时序关系，生成所述程序指令集。

优选地，所述匹配步骤包括如下任一个或任多个步骤：

匹配尺寸步骤：呈现现实对象的影像与虚拟对象之间的尺寸相对关系，通过尺寸交互，使得现实对象的影像与虚拟对象之间的尺寸相匹配；其中，所述尺寸交互是指：提示现实对象的影像与虚拟对象之间的尺寸差异，或者，指示现实对象移动以改变所述影像的尺寸；

匹配朝向步骤：呈现现实对象的影像与虚拟对象之间的朝向相对关系，通过朝向交互，使得现实对象的影像与虚拟对象之间的朝向相匹配；其中，所述朝向交互是指：提示现实对象的影像与虚拟对象之间的朝向差异，或者，指示现实对象转动以改变所述影像的朝向。

优选地，所述匹配步骤还包括：

障碍排除步骤：判断虚拟对象与现实障碍物之间是否冲突；若不冲突，则确认不冲突；若冲突，则：

-提示冲突；

-指示现实对象进行运动使得虚拟对象与现实障碍物之间不冲突；或者

-更新虚拟对象使得虚拟对象与现实障碍物之间不冲突。

优选地，所述虚拟对象包括虚拟场地，所述虚拟场地采用如下任一种方式呈现：

-根据预设参数呈现；

-根据现实对象的影像与虚拟对象之间的相对关系呈现；

-在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现。

优选地，还包括：

虚拟交互响应步骤：根据现实对象执行的动作，呈现虚拟对象针对现实对象的影像的虚拟交互响应。

优选地，还包括：

现实交互响应步骤：根据所述虚拟交互响应，指示所述现实对象执行现实交互响应。

优选地，还包括：

编程界面步骤：提供可视编程界面；其中，所述编程界面步骤包括如下任一个或任多个步骤：

-叠加呈现步骤：令所述现实对象的影像与虚拟对象，在所述可视编程界面中叠加呈现；

-操作呈现步骤：令图形化的程序指令单元，在所述可视编程界面中，随使用者的操作呈现对应的可视效果；

-执行呈现步骤：令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示；

-省略呈现步骤：根据使用者对程序指令单元的指定，指示现实对象直接响应被指定的程序指令单元被执行后对应的动作，并在所述可视编程界面中呈现。

优选地，所述编程界面步骤，还包括如下任一个或任多个步骤：

第一界面切换步骤：根据第三操作输入信息，从所述操作呈现步骤到所述执行呈现步骤进行触发切换；

第二界面切换步骤：根据虚拟对象针对现实对象的影像的虚拟交互响应，从所述执行呈现步骤到所述操作呈现步骤进行触发切换。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。

根据本发明提供的一种智能设备，包括上述的基于AR的交互编程系统，或者包括上述的存储有计算机程序的计算机可读存储介质。

与现有技术相比，本发明具有如下的有益效果：

本发明对现有技术中的编程玩具进行改进，在编程过程中涉及现实对象的影像与虚拟对象之间的交互、现实对象与智能设备之间的交互、虚拟对象与使用者之间的交互，充分结合AR技术，使得编程玩具适合作为儿童的智能陪伴。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为现实对象的影像与虚拟对象之间尺寸相对关系的调整界面示意图。

图2为现实对象的影像与虚拟对象之间朝向相对关系的调整界面示意图。

图3为现实对象的影像与虚拟对象中的网格道路叠加呈现的界面示意图。

图4为可视编程界面的示意图。

图5为可视编程界面中执行第一步程序指令的界面示意图。

图6为可视编程界面中执行第二步程序指令的界面示意图。

图7为一个具体场景实施例中的方法步骤流程图。

图8为一个具体场景实施例中的结构框架示意图。

图中示出：

现实对象的影像100

尺寸对比对象201

箭头图标202

虚拟场地203

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

陪伴是儿童在成长过程中不可缺少的情感环节，包括父母对儿童的陪伴，也包括玩具对儿童的陪伴，更重要的是父母和儿童能够有机会一起通过玩具进行娱乐游戏与学习指导，从而实现更高级的智能陪伴，而编程玩具就是最好的载体之一。为此，发明人在智能陪伴的愿景与认同下，进行了技术改进，并在专利工程师、专利代理人、专利律师的共同协助下进行图文表达，以期取得专利权，使得后续能够开发出更多的产品给家中的儿童以陪伴。下面就对本申请的技术方案、具体应用场景等方面进行说明。

根据本发明提供的一种基于AR的交互编程系统，包括：

AR模块：将现实对象的影像与虚拟对象叠加呈现；现实对象的影像由摄像装置采集现实画面提取后得到，例如智能手机的摄像头，现实画面包括摄像装置采集的整个画面，在家庭环境中可能会包含楼梯、沙发、积木、机器人、地毯、壁画、食品、宠物、人员等现实对象，选取整个画面中与识别目标对应的图形作为现实对象的影像，在优选例中，可以执行动作的机器人作为识别目标，机器人的影像就构成所述现实对象的影像；在其他优选例中，可以将人员或者动物作为识别目标，只要人员或者动物能够听懂指示，则同样可以在接受指示后执行对应的动作，此时，所述指示优选为语音指示，次优选也可以图形指示、气味指示等以适用于感知障碍人士或者动物等需要感知辅助的情况。

编程界面模块：提供可视编程界面；所述可视编程界面主要由一个或者多个子界面构成，多个子界面之间可以切换显示、重叠显示或者并列显示；当并列显示时，在视觉上子界面相当于所述可视编程界面中的一个显示区域；至少有一个子界面作为呈现空间，同时呈现现实对象的影像、虚拟对象，并且现实对象的影像与虚拟对象之间叠加呈现，子界面中可以仅仅呈现现实对象的影像、虚拟对象，当然在变化例中，除了现实对象的影像、虚拟对象之外，所述子界面还可以同时呈现现实对象所在的现实画面，这样可以看到现实画面中的地毯等现实对象周边的事物。其中，虚拟对象可以覆盖住现实对象所在的现实画面中的部分区域，现实对象的影像可以覆盖住虚拟对象，本领域技术人员可以参照专利文献CN105931289A中虚拟恐龙与真实丛林景观插板的遮挡技术实现以覆盖方式实现叠加，在此不予赘述。

编程模块：获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；其中，所述程序指令单元的类型可以是逻辑类指令，也可以是执行类指令；所述执行类指令指示现实对象执行动作。

执行模块：根据所述程序指令集，指示现实对象执行动作；其中，所述动作可以是各种运动，例如平动、转动、跳动、变形；所述动作还可以是声、光、电效果，例如发声、发光、变色、变温、相变；而在现实对象为人类、动物或者人工智能的实施例中，所述动作可以是该类现实对象能够实现的动作，例如可以是大笑、弯腰、捡拾物品、打开家用电器等工作。

匹配模块：呈现现实对象的影像与虚拟对象之间的相对关系。由于需要在同一空间中叠加呈现现实对象的影像与虚拟对象，且需要现实对象的影像与虚拟对象这两者进行互动，因此需要将这两者进行尺寸等参数上的匹配。例如，现实对象为机器人，虚拟对象为网格，机器人的影响需要在不同的网格之间移动，若此时机器人距离摄像头距离过远，则机器人需要运动很长的距离才能从一个网格运动到下一个网格，不适合游戏效果，所以需要在虚拟交互响应、现实交互响应、所述执行动作之前，呈现现实对象的影像与虚拟对象之间的相对关系，并就所述相对关系进行匹配调整。

虚拟交互响应模块：根据现实对象执行的动作，呈现虚拟对象针对现实对象的影像的虚拟交互响应；例如，所述虚拟交互响应可以是吃掉虚拟蛋糕、网格变亮、拯救虚拟动物，通过这样的方式，可以提示编程结果与预期结构之间的异同。

现实交互响应模块：根据所述虚拟交互响应，指示所述现实对象执行现实交互响应；所述现实交互响应可以是被指示的机器人原地转一圈、摇晃、变化表情、发出不同的声音。

本发明还提供一种智能设备，包括所述的基于AR的交互编程系统。所述智能设备可以是智能手机、平板电脑、智能手表、智能眼镜、投影设备、VR头盔等设备。以智能手机为例，现实对象的影像由智能手机的摄像头拍摄获取，智能手机的屏幕将现实对象的影像与虚拟对象叠加呈现，以及呈现编程界面模块，并且通过触摸屏接收使用者对可视编程界面的操作，通过智能手机的短距离无线通信模块或WIFI网络向现实对象发送指示，通过智能手机的音响模块播放声控指令，通过智能手机的照明灯发出光控指令。

下面通过更进一步的优选例，对本发明提供的基于AR的交互编程系统和智能设备具体说明。

所述编程模块包括：

编程单元获取模块：根据第一操作输入信息，获取多个程序指令单元；在可视编程界面中展示图形化的程序指令单元，例如图形化为一块拼板的样子；使用者通过对程序指令单元进行所述第一操作输入信息，获取多个程序指令单元，其中，所述第一操作输入信息包括点选、声控选中、手势控制、目光选中、外设选中产生的输入信息。外设可以鼠标、电子笔等外部设备。

时序关系获取模块：根据第二操作输入信息，获取所述多个程序指令单元之间执行的时序关系；第二操作输入信息用于设定获得的多个程序指令单元之间的执行时序，可以是单次执行，也可以是循环执行，所述时序关系主要由第二操作输入信息和/或程序指令单元本身的逻辑确定。所述第二操作输入信息可以是使用者在触摸屏上选中程序指令单元后进行拖动，或者设置各个程序指令单元的执行序号。在优选例中，根据触摸屏的功能，所述第一操作输入信息、第二操作输入信息可以是由使用者的同一个操作生成的，例如使用者将一个图形化的程序指令单元从可视编辑界面的一个区域拖动到另一个区域。

指令集生成模块：根据所述多个程序指令单元、时序关系，生成所述程序指令集。所述程序指令集在可视编辑界面上的可视化效果可以是多个图形化的程序指令单元在不同位置上进行有序排布，而所述程序指令集中的代码则优选地不可视化呈现。

所述匹配模块包括如下任一个或任多个模块：

匹配尺寸模块：呈现现实对象的影像与虚拟对象之间的尺寸相对关系，通过尺寸交互，使得现实对象的影像与虚拟对象之间的尺寸相匹配；其中，所述尺寸交互是指：提示现实对象的影像与虚拟对象之间的尺寸差异，或者，指示现实对象移动以改变所述影像的尺寸；所述虚拟对象包括尺寸对比对象，所述尺寸对比对象的形状与现实对象的影像两者之间相匹配，例如两者均为圆形，如图1所示，又例如两者分别是圆形与方格，若尺寸对比对象正好包络、基本包括或者包含现实对象的影像，则认为两者之间的尺寸相匹配，否则，则认为尺寸不相匹配，从而实现了两者之间的尺寸的相对关系，反映出尺寸差异。在变化例中，当现实对象的影像与虚拟对象之间的尺寸差异较大不匹配时，可以指示现实对象运动以进行尺寸关系的匹配；若现实对象的影像过小，则指示现实对象靠近摄像头；若现实对象的影像过大，则指示现实对象远离摄像头；还或者，若识别出现实对象并没有全部进入画面时，可以指示现实对象全部进入摄像头的画面采集角度内。

匹配朝向模块：呈现现实对象的影像与虚拟对象之间的朝向相对关系，通过朝向交互，使得现实对象的影像与虚拟对象之间的朝向相匹配；其中，所述朝向交互是指：提示现实对象的影像与虚拟对象之间的朝向差异，或者，指示现实对象转动以改变所述影像的朝向；所述虚拟对象包括朝向对比对象，现实对象在被识别后能够识别出现实对象的朝向，并通过箭头等图标表示，如图2所示，例如玩具汽车的朝向可设定为玩具汽车的前方方向；在可视编程界面中同时呈现所述朝向对比对象、现实对象的朝向图标这两者，从而使用者或者自动识别出这两者之前的朝向差异。在获取朝向差异后，可以由使用者进行操作改变虚拟对象的朝向，或者指示现实对象旋转，以缩小或消除朝向差异。

障碍排除模块：判断虚拟对象与现实障碍物之间是否冲突。当虚拟对象对于编程具有功能性时，现实障碍物与虚拟对象之间可能发生冲突。例如，虚拟对象为现实对象机器人的影像需要沿着移动的虚拟道路，则虚拟道路不能与现实障碍物发生重叠。又例如，虚拟道路的延伸受到墙壁、沙发的重叠。若不冲突，则确认不冲突；若冲突，则：提示冲突；指示现实对象进行运动使得虚拟对象与现实障碍物之间不冲突；或者，更新虚拟对象使得虚拟对象与现实障碍物之间不冲突。

其中，所述虚拟对象包括虚拟场地。例如虚拟场地为网格、道路、桥梁、水道、场馆、城市、草原、山川、轨道等等。所述虚拟场地采用如下任一种方式呈现：根据预设参数呈现；根据现实对象的影像与虚拟对象之间的相对关系呈现；在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现。所述根据预设参数呈现，具体地，可以不考虑现实对象的影像与虚拟对象之间的相对关系直接根据预设的参数生成并呈现虚拟场地。所述根据现实对象的影像与虚拟对象之间的相对关系呈现，具体地，根据现实对象的影像，相应地呈现虚拟对象；例如，若现实对象的影像较大，则虚拟场地中的网格也相应面积较大；若现实对象的影像较小，则虚拟场地中的网格也相应面积较小。在优选例中，现实对象的运动参数保护不变，例如机器人现实对象的步进距离是一定的，则虚拟场地中的网格大小相适应所述相对关系时，机器人现实对象移动一步，则差不多或者正好就从一个网格移动到另一个网格中。所述在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现；具体地，实时地识别现实对象的位置，指示现实对象的动作适应于虚拟场地。例如，指示现实对象移动，使得现实对象正好从一个网格移动到另一个网格。

所述编程界面模块包括如下任一个或任多个模块：

叠加呈现模块：令所述现实对象的影像与虚拟对象，在所述可视编程界面中叠加呈现；例如，如图1所示。操作呈现模块：令图形化的程序指令单元，在所述可视编程界面中，随使用者的操作呈现对应的可视效果；例如，使用者拖动程序指令单元，则程序指令单元在被拖动过程中被高亮显示，并移动到拖动轨迹的终点位置。执行呈现模块：令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示；如图5、图6所示。省略呈现模块：根据使用者对程序指令单元的指定，指示现实对象直接响应被指定的程序指令单元被执行后对应的动作，并在所述可视编程界面中呈现。例如，有连续5个转90度的程序指令单元，则如果使用者点击调试执行第5个转90度的程序指令单元，则现实对象仅转90度，而不是转360度+90度，以节省编程校对的时间。

所述编程界面模块，还包括如下任一个或任多个模块：

第一界面切换模块：根据第三操作输入信息，从所述操作呈现模块到所述执行呈现模块进行触发切换；例如从图4切换到图5示出的界面。第二界面切换模块：根据虚拟对象针对现实对象的影像的虚拟交互响应，从所述执行呈现模块到所述操作呈现模块进行触发切换；例如从图5切换到图4示出的界面。

接下来将侧重结合说明书附图，通过具体应用场景的优选例对本发明进行更为具体详细的说明。

如图1所示，现实对象包括机器人，图1示出了现实对象的影像100。该机器人是球形结构的，底部安装有轮子，可自行运动，包括平动和转动。使用者打开手机，用手机持续拍摄机器人，图1示出的是手机屏幕所现实画面的示意图。

结合图7示出的步骤流程。首先需要调整机器人与手机的相对距离关系，也即是虚拟对象，尤其是虚拟场地与机器人之间的距离关系，其中，虚拟场地在图1中未示出，而是在图3中示出了，这是因为虚拟场地需要根据机器人的朝向来适配生成。如图1中的尺寸对比对象201，图1中的尺寸对比对象201的大小与机器人影像的大小尺寸差不多，基本形成包络。则认为此时机器人与手机之间的距离是合适的。

然后入图2所示，在手机界面中显示箭头图标202，使用者转动箭头图标，使得箭头图标与机器人正面的朝向保持同轴一致。

通过图1和图2的操作，机器人与手机之间的相对关系已经合适且确定。在此基础上，如图3所示，生成虚拟场地203。使用者需要查看虚拟场地中的网格道路，沿着网格道路一格一格前进。当然，这需要使用者以编程的方式获得指令程序指令集，用程序指令集来指示机器人沿着网格道路运动。

如图4所示为可视编程界面，所述可视编程界面的左侧区域为图形化的程序指令单元，一共有四种程序指令单元，分别可指示机器人执行动作为：前进一格、后退一格、右转90度、左转90度。所述可视编程界面的右侧区域为使用者已选取好且排序好的程序指令单元，即右侧区域中的六个程序指令单元为主构成了程序指令集。依照该程序指令集运动，机器人将从网格道路的一端沿着道路到达另一端。

若要在编程过程中对程序进行调试，则可以进入图5、图6示出的可视编程界面，从而能够令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示。例如，图5中在第一步的程序指令单元的图形上标注有实心圆点，表示该程序指令单元在被执行，相应地，机器人从网络道路起点开始的第一个网格向第二个网路前进一格。之后，如图6所示，第二步的程序指令单元的图形上标注有实心圆点，表示该程序指令单元在被执行，相应地，机器人从网络道路起点开始的第二个网格向第三个网路前进一格。

下面对本发明提供的一种基于AR的交互编程方法进行说明。本领域技术人员可以参照所述基于AR的交互编程中的步骤流程实现所述基于AR的交互编程系统。即可以将所述基于AR的交互编程方法理解为所述基于AR的交互编程系统的一个优选例。

根据本发明提供的一种基于AR的交互编程方法，包括：

AR步骤：将现实对象的影像与虚拟对象叠加呈现；

所述基于AR的交互编程方法，还包括：

编程步骤：获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；

执行步骤：根据所述程序指令集，指示现实对象执行动作。

优选地，还包括：

匹配步骤：呈现现实对象的影像与虚拟对象之间的相对关系。

优选地，所述编程步骤包括：

编程单元获取步骤：根据第一操作输入信息，获取多个程序指令单元；

时序关系获取步骤：根据第二操作输入信息，获取所述多个程序指令单元之间执行的时序关系；

指令集生成步骤：根据所述多个程序指令单元、时序关系，生成所述程序指令集。

优选地，所述匹配步骤包括如下任一个或任多个步骤：

匹配尺寸步骤：呈现现实对象的影像与虚拟对象之间的尺寸相对关系，通过尺寸交互，使得现实对象的影像与虚拟对象之间的尺寸相匹配；其中，所述尺寸交互是指：提示现实对象的影像与虚拟对象之间的尺寸差异，或者，指示现实对象移动以改变所述影像的尺寸；

匹配朝向步骤：呈现现实对象的影像与虚拟对象之间的朝向相对关系，通过朝向交互，使得现实对象的影像与虚拟对象之间的朝向相匹配；其中，所述朝向交互是指：提示现实对象的影像与虚拟对象之间的朝向差异，或者，指示现实对象转动以改变所述影像的朝向。

优选地，所述匹配步骤还包括：

障碍排除步骤：判断虚拟对象与现实障碍物之间是否冲突；若不冲突，则确认不冲突；若冲突，则：

-提示冲突；

-指示现实对象进行运动使得虚拟对象与现实障碍物之间不冲突；或者

-更新虚拟对象使得虚拟对象与现实障碍物之间不冲突。

优选地，所述虚拟对象包括虚拟场地，所述虚拟场地采用如下任一种方式呈现：

-根据预设参数呈现；

-根据现实对象的影像与虚拟对象之间的相对关系呈现；

-在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现。

优选地，还包括：

虚拟交互响应步骤：根据现实对象执行的动作，呈现虚拟对象针对现实对象的影像的虚拟交互响应。

优选地，还包括：

现实交互响应步骤：根据所述虚拟交互响应，指示所述现实对象执行现实交互响应。

优选地，还包括：

编程界面步骤：提供可视编程界面；其中，所述编程界面步骤包括如下任一个或任多个步骤：

-叠加呈现步骤：令所述现实对象的影像与虚拟对象，在所述可视编程界面中叠加呈现；

-操作呈现步骤：令图形化的程序指令单元，在所述可视编程界面中，随使用者的操作呈现对应的可视效果；

-执行呈现步骤：令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示；

-省略呈现步骤：根据使用者对程序指令单元的指定，指示现实对象直接响应被指定的程序指令单元被执行后对应的动作，并在所述可视编程界面中呈现。

优选地，所述编程界面步骤，还包括如下任一个或任多个步骤：

第一界面切换步骤：根据第三操作输入信息，从所述操作呈现步骤到所述执行呈现步骤进行触发切换；

第二界面切换步骤：根据虚拟对象针对现实对象的影像的虚拟交互响应，从所述执行呈现步骤到所述操作呈现步骤进行触发切换。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现所述的基于AR的交互编程方法的步骤。例如芯片、存储器、光盘。尤其是支持APP商店的服务器。根据本发明提供的一种智能设备，包括所述的存储有计算机程序的计算机可读存储介质。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将系统模块进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现系统的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (22)

1.一种基于AR的交互编程系统，其特征在于，包括：

AR模块：将现实对象的影像与虚拟对象叠加呈现；

所述基于AR的交互编程系统，还包括：

编程模块：获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；

执行模块：根据所述程序指令集，指示现实对象执行动作。

2.根据权利要求1所述的基于AR的交互编程系统，其特征在于，还包括：

匹配模块：呈现现实对象的影像与虚拟对象之间的相对关系。

3.根据权利要求1所述的基于AR的交互编程系统，其特征在于，所述编程模块包括：

编程单元获取模块：根据第一操作输入信息，获取多个程序指令单元；

时序关系获取模块：根据第二操作输入信息，获取所述多个程序指令单元之间执行的时序关系；

指令集生成模块：根据所述多个程序指令单元、时序关系，生成所述程序指令集。

4.根据权利要求2所述的基于AR的交互编程系统，其特征在于，所述匹配模块包括如下任一个或任多个模块：

匹配尺寸模块：呈现现实对象的影像与虚拟对象之间的尺寸相对关系，通过尺寸交互，使得现实对象的影像与虚拟对象之间的尺寸相匹配；其中，所述尺寸交互是指：提示现实对象的影像与虚拟对象之间的尺寸差异，或者，指示现实对象移动以改变所述影像的尺寸；

匹配朝向模块：呈现现实对象的影像与虚拟对象之间的朝向相对关系，通过朝向交互，使得现实对象的影像与虚拟对象之间的朝向相匹配；其中，所述朝向交互是指：提示现实对象的影像与虚拟对象之间的朝向差异，或者，指示现实对象转动以改变所述影像的朝向。

5.根据权利要求4所述的基于AR的交互编程系统，其特征在于，所述匹配模块还包括：

障碍排除模块：判断虚拟对象与现实障碍物之间是否冲突；若不冲突，则确认不冲突；若冲突，则：

-提示冲突；

-指示现实对象进行运动使得虚拟对象与现实障碍物之间不冲突；或者

-更新虚拟对象使得虚拟对象与现实障碍物之间不冲突。

6.根据权利要求1所述的基于AR的交互编程系统，其特征在于，所述虚拟对象包括虚拟场地，所述虚拟场地采用如下任一种方式呈现：

-根据预设参数呈现；

-根据现实对象的影像与虚拟对象之间的相对关系呈现；

-在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现。

7.根据权利要求1所述的基于AR的交互编程系统，其特征在于，还包括：

虚拟交互响应模块：根据现实对象执行的动作，呈现虚拟对象针对现实对象的影像的虚拟交互响应。

8.根据权利要求7所述的基于AR的交互编程系统，其特征在于，还包括：

现实交互响应模块：根据所述虚拟交互响应，指示所述现实对象执行现实交互响应。

9.根据权利要求1所述的基于AR的交互编程系统，其特征在于，还包括：

编程界面模块：提供可视编程界面；其中，所述编程界面模块包括如下任一个或任多个模块：

-叠加呈现模块：令所述现实对象的影像与虚拟对象，在所述可视编程界面中叠加呈现；

-操作呈现模块：令图形化的程序指令单元，在所述可视编程界面中，随使用者的操作呈现对应的可视效果；

-执行呈现模块：令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示；

-省略呈现模块：根据使用者对程序指令单元的指定，指示现实对象直接响应被指定的程序指令单元被执行后对应的动作，并在所述可视编程界面中呈现。

10.根据权利要求9所述的基于AR的交互编程系统，其特征在于，所述编程界面模块，还包括如下任一个或任多个模块：

第一界面切换模块：根据第三操作输入信息，从所述操作呈现模块到所述执行呈现模块进行触发切换；

第二界面切换模块：根据虚拟对象针对现实对象的影像的虚拟交互响应，从所述执行呈现模块到所述操作呈现模块进行触发切换。

11.一种基于AR的交互编程方法，其特征在于，包括：

AR步骤：将现实对象的影像与虚拟对象叠加呈现；

所述基于AR的交互编程方法，还包括：

编程步骤：获取程序指令集，其中，所述程序指令集包括一个或多个程序指令单元；

执行步骤：根据所述程序指令集，指示现实对象执行动作。

12.根据权利要求1所述的基于AR的交互编程方法，其特征在于，还包括：

匹配步骤：呈现现实对象的影像与虚拟对象之间的相对关系。

13.根据权利要求11所述的基于AR的交互编程方法，其特征在于，所述编程步骤包括：

编程单元获取步骤：根据第一操作输入信息，获取多个程序指令单元；

时序关系获取步骤：根据第二操作输入信息，获取所述多个程序指令单元之间执行的时序关系；

指令集生成步骤：根据所述多个程序指令单元、时序关系，生成所述程序指令集。

14.根据权利要求12所述的基于AR的交互编程方法，其特征在于，所述匹配步骤包括如下任一个或任多个步骤：

匹配尺寸步骤：呈现现实对象的影像与虚拟对象之间的尺寸相对关系，通过尺寸交互，使得现实对象的影像与虚拟对象之间的尺寸相匹配；其中，所述尺寸交互是指：提示现实对象的影像与虚拟对象之间的尺寸差异，或者，指示现实对象移动以改变所述影像的尺寸；

匹配朝向步骤：呈现现实对象的影像与虚拟对象之间的朝向相对关系，通过朝向交互，使得现实对象的影像与虚拟对象之间的朝向相匹配；其中，所述朝向交互是指：提示现实对象的影像与虚拟对象之间的朝向差异，或者，指示现实对象转动以改变所述影像的朝向。

15.根据权利要求14所述的基于AR的交互编程方法，其特征在于，所述匹配步骤还包括：

障碍排除步骤：判断虚拟对象与现实障碍物之间是否冲突；若不冲突，则确认不冲突；若冲突，则：

-提示冲突；

-指示现实对象进行运动使得虚拟对象与现实障碍物之间不冲突；或者

-更新虚拟对象使得虚拟对象与现实障碍物之间不冲突。

16.根据权利要求11所述的基于AR的交互编程方法，其特征在于，所述虚拟对象包括虚拟场地，所述虚拟场地采用如下任一种方式呈现：

-根据预设参数呈现；

-根据现实对象的影像与虚拟对象之间的相对关系呈现；

-在现实对象的影像与虚拟对象相匹配后，根据现实对象呈现。

17.根据权利要求11所述的基于AR的交互编程方法，其特征在于，还包括：

虚拟交互响应步骤：根据现实对象执行的动作，呈现虚拟对象针对现实对象的影像的虚拟交互响应。

18.根据权利要求17所述的基于AR的交互编程方法，其特征在于，还包括：

现实交互响应步骤：根据所述虚拟交互响应，指示所述现实对象执行现实交互响应。

19.根据权利要求11所述的基于AR的交互编程方法，其特征在于，还包括：

编程界面步骤：提供可视编程界面；其中，所述编程界面步骤包括如下任一个或任多个步骤：

-叠加呈现步骤：令所述现实对象的影像与虚拟对象，在所述可视编程界面中叠加呈现；

-操作呈现步骤：令图形化的程序指令单元，在所述可视编程界面中，随使用者的操作呈现对应的可视效果；

-执行呈现步骤：令程序指令集分步执行程序指令单元的情况、现实对象分步执行动作的情况，在所述可视编程界面中，同步展示；

-省略呈现步骤：根据使用者对程序指令单元的指定，指示现实对象直接响应被指定的程序指令单元被执行后对应的动作，并在所述可视编程界面中呈现。

20.根据权利要求19所述的基于AR的交互编程方法，其特征在于，所述编程界面步骤，还包括如下任一个或任多个步骤：

第一界面切换步骤：根据第三操作输入信息，从所述操作呈现步骤到所述执行呈现步骤进行触发切换；

第二界面切换步骤：根据虚拟对象针对现实对象的影像的虚拟交互响应，从所述执行呈现步骤到所述操作呈现步骤进行触发切换。

21.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求11至20中任一项所述的方法的步骤。

22.一种智能设备，其特征在于，包括权利要求1至10中任一项所述的基于AR的交互编程系统，或者包括权利要求21所述的存储有计算机程序的计算机可读存储介质。