CN112105486B - 用于工业机器人的增强现实 - Google Patents

Abstract

一种用于在一现实世界环境中显示一虚拟机器人的系统，所述系统包括一显示器；一机器人的计算机模型；一计算单元，用于根据所述计算机模型计算所述机器人在一特定位置的一形状；一摄像机，用于捕捉一现实世界环境的一图像；及一人机界面(MMI)，对一用户向所述计算单元提供命令以计算所述机器人的所述形状；其中所述显示器被布置用以将所述机器人的所述形状显示为一虚拟机器人。另外还描述了相关的设备及方法。

Description

用于工业机器人的增强现实

相关申请

本申请为国际专利合作条约(PCT)申请，主张2018年3月26日提交的美国临时专利申请第62/647,871号以及2018年3月26日提交的美国临时专利申请第62/647,861号的优先权，其内容通过引用整体并入本文。

本申请涉及共同提交、共同待决和共同转让的PCT专利申请，其名称为“TEACHPENDANT AS AN ADD-ON”(代理人卷号76996)，其公开内容通过引用并入本文。

技术领域

在一些实施例中，本发明涉及使用用于工业机器人的增强现实，并且更具体但非排他地涉及使用增强现实或虚拟现实来规划及/或测试一机器人的运动。

上文及整个说明书中提到的所有参考文献的公开内容，以及参考文献中提到的所有参考文献的公开内容，均通过引用并入本文。

背景技术

在一些实施例中，本发明涉及使用用于工业机器人的增强现实，并且更具体但非排他地涉及使用增强现实或虚拟现实来规划一机器人的运动。

根据本发明的一些实施例的一个方面，提供一种用于在一现实世界环境中显示一虚拟机器人的系统，所述系统包括一显示器；一机器人的一计算机模型；一计算单元，用于根据所述计算机模型计算所述机器人在一特定位置的一形状；一摄像机，用于捕捉一现实世界环境的一图像；及一人机界面(MMI)，对一用户向所述计算单元提供命令以计算所述机器人的所述形状；其中所述显示器被布置用以将所述机器人的所述形状显示为一虚拟机器人。

根据本发明的一些实施例，所述机器人的所述模型为一现实世界机器人。

根据本发明的一些实施例，所述机器人的所述模型是一机器人的一计算机模型。

根据本发明的一些实施例，所述计算单元配置用于控制所显示的所述机器人的所述模型的运动作为所述虚拟机器人的运动。

根据本发明的一些实施例，所述显示器为一虚拟现实显示器(VR)，而且所述系统还包含所述计算单元被布置用以控制所述虚拟现实显示器以显示所述虚拟机器人的一虚拟环境。

根据本发明的一些实施例，所述虚拟环境是基于所述现实世界环境的所述图像。

根据本发明的一些实施例，所述计算单元配置用以控制所显示的所述机器人的所述模型可能的所有动作的运动。

根据本发明的一些实施例，所述计算单元配置用以控制所显示的所述机器人的所述模型可能的所有动作的运动到这些动作的全部运动范围。

根据本发明的一些实施例，所述显示器配置用以将全部运动范围显示为空间中的一加亮体积。

根据本发明的一些实施例，所述显示器为一增强现实显示器(AR)。

根据本发明的一些实施例，所述系统还包括多个传感器，所述传感器用于检测一用户的手势。

根据本发明的一些实施例，所述多个传感器布置用以在所述现实世界环境中检测所述用户的手势，在所述现实世界环境中，所述增强现实显示器清楚地显示所述虚拟机器人。

根据本发明的一些实施例，所述多个传感器布置用以检测在一现实世界空间中的一现实对象，在所述现实世界空间中，所述显示器显示所述机器人。

根据本发明的一些实施例，所述显示器配置用以避免在与所述现实对象相同的空间中显示所述机器人。

根据本发明的一些实施例，所述显示器配置用以显示所述虚拟机器人的全部运动范围，除了当所述虚拟机器人作为空间中的一加亮体积出现而占据与一现实对象相同的空间时。

根据本发明的一些实施例，当所述虚拟机器人作为空间中的一加亮体积出现而占据与一现实对象相同的空间时，所述显示器配置为仅显示所述虚拟机器人的运动范围的一部分。

根据本发明的一些实施例，所述计算单元被包含在所述显示器中。

根据本发明的一些实施例，所述增强现实显示器包含一头戴式显示器。

根据本发明的一些实施例，所述显示器包含一平板电脑，而且所述平板电脑的屏幕布置用以显示所述虚拟机器人。

根据本发明的一些实施例，所述平板电脑的屏幕还布置用以显示所述虚拟机器人的一虚拟环境。

根据本发明的一些实施例，所述平板电脑的屏幕还布置用以显示由所述摄像机捕捉的所述现实世界环境。

根据本发明的一些实施例，所述平板电脑的屏幕包含一触摸屏，而且所述系统布置为使用所述触摸屏来输入用户的手势来控制所述虚拟机器人的运动。

根据本发明的一些实施例，所述系统布置为使用所述触摸屏来输入要显示哪一种类型的机器人。

根据本发明的一些实施例，所述系统布置为使用所述触摸屏来输入要移动哪一个机器人附件。

根据本发明的一些实施例，所述系统布置成使用所述触摸屏来选择要被控制的一机器人的一运动框架的哪一个轴。

根据本发明的一些实施例，所述系统布置为使用所述触摸屏来输入所选择的机器人的所选择的轴要被推移多少。

根据本发明的一些实施例，所述系统还包括在所述现实世界环境的一标记，所述标记与在所述现实世界环境中为所述机器人规划的一位置相关联。

根据本发明的一些实施例，所述系统还包括至少一装置传感器，所述至少一装置传感器选自于以下的一群组：一陀螺仪；一加速度计；及一全球定位系统(GPS)单元。

根据本发明的一些实施例，所述系统用于描绘在一现实世界环境中由所述机器人的运动所跨越的一空间。

根据本发明的一些实施例的一方面，提供一种在一现实世界环境中显示一虚拟机器人的方法，所述方法包括提供一机器人的一模型；提供一现实世界环境中的一图像；根据所述计算机模型计算所述机器人的模型在所述现实世界环境中的一特定位置的一形状；及使用一显示器将所述机器人的所述形状显示为一虚拟机器人，并且基于一现实世界环境中的所述图像显示一工业环境。

根据本发明的一些实施例，所述显示器为一增强现实显示器(AR)。

根据本发明的一些实施例，所述方法还包括感测一用户的手势，并且使用所述用户的手势来改变所述虚拟机器人的显示。

根据本发明的一些实施例，所述感测是通过一摄像机从所述增强现实显示器显示所述机器人所在的一现实世界空间中捕捉多个图像来执行的。

根据本发明的一些实施例，多个输入传感器布置用以在所述增强现实显示器显示所述机器人所在的一现实世界空间中检测所述用户的手势。

根据本发明的一些实施例，所述方法还包括使用所述用户的手势来改变所述增强现实显示器显示所述模型的所述形状。

根据本发明的一些实施例，所述机器人的所述模型为一现实世界机器人。

根据本发明的一些实施例，所述机器人的所述模型为一机器人的一计算机模型。

根据本发明的一些实施例，计算所述机器人的所述模型的一形状包括控制所显示的所述虚拟机器人的运动。

根据本发明的一些实施例，所述显示器为一虚拟现实显示器(VR)，而且计算所述机器人的所述模型的一形状包括控制所述虚拟现实显示器以显示所述虚拟机器人的一虚拟环境。

根据本发明的一些实施例，所述虚拟环境是基于所述现实世界环境中的所述图像。

根据本发明的一些实施例，所述方法还包含感测在所述现实世界环境中的一标记，所述标记与在所述现实世界环境中为所述机器人规划的一位置相关联。

根据本发明的一些实施例，所述显示器用于描绘由所述虚拟机器人的运动所跨越在现实世界环境中的一空间。

根据本发明的一些实施例，所述显示器用于将全部运动范围显示为空间中的一加亮体积。

根据本发明的一些实施例，感测一用户的手势包括感测所述显示器显示所述虚拟机器人所在的一现实世界空间中的一现实对象。

根据本发明的一些实施例，所述方法还包括避免在所述现实对象的一现实世界空间中的一相同空间中显示所述虚拟机器人。

根据本发明的一些实施例，所述方法还包含显示所述虚拟机器人的全部运动范围，除了当所述虚拟机器人作为空间中的一加亮体积出现而占据与所述现实对象相同的空间时。

根据本发明的一些实施例，所述方法还包含仅显示所述虚拟机器人的运动范围的一部分，其中所述虚拟机器人被计算出其作为空间中的一加亮体积占据与所述现实对象的一现实世界空间相同的空间。

根据本发明的一些实施例，所述方法还包括：使用一平板电脑的一前置摄像机检测一用户的眼睛；计算所述用户注视的地方；及根据所述用户注视的地方选择要控制的一虚拟机器人附件。

根据本发明的一些实施例，所述方法还包括：使用一平板电脑的一前置摄像机检测一用户的眼睛；计算所述用户注视的地方；追踪所述用户注视的方向的一位移；及基于所述用户注视的方向的所述位移，控制显示所选择的虚拟机器人附件的移动。

除非另有定义，否则本文中使用的所有技术及/或科学用语具有与本发明所属领域的普通技术人员通常所理解的相同含义。尽管与本文描述的那些类似或等同的方法及材料可以用于本发明的实施例的实践或测试中，但是下面描述了示例性的方法及/或材料。在有冲突的情况下，以专利说明书，包括定义为准。另外，材料、方法及实施例仅是说明性的，并不意图必然是限制性的。

如本领域的技术人员将理解的，本发明的一些实施例可以体现为系统、方法或计算机程序产品。因此，本发明的一些实施例可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或结合软件及硬件方面的实施例的形式，这些方面在本文中通常都统称为“电路”，“模块”或“系统”。此外，本发明的一些实施例可以采用计算机程序产品的形式，所述计算机程序产品体现在其上体现有计算机可读程序代码的一个或多个计算机可读介质中。本发明的一些实施例的方法及/或系统的实现可以涉及手动、自动或其组合来执行及/或完成所选择的任务。此外，根据本发明的方法及/或系统的一些实施例的实际仪器及设备，可以通过硬件、软件或固件及/或它们的组合来实现几个选择的任务，例如，使用操作系统。

例如，根据本发明的一些实施例的用于执行选择的任务的硬件可以实现为芯片或电路。作为软件，根据本发明一些实施例的所选任务可以实现为由计算机使用任何合适的操作系统执行的多个软件指令。在本发明的示例性实施例中，根据本文所述的方法及/或系统的一些示例性实施例的一个或多个任务由数据处理器执行，例如：用于执行多个指令的计算平台。可选地，数据处理器包括用于存储指令及/或数据的易失性存储器及/或用于存储指令及/或数据的非易失性存储器，例如：磁硬盘及/或可移动介质。可选地，还提供网络连接。可选地提供显示器及/或用户输入装置，例如：键盘或鼠标。

一种或多种计算机可读介质的任何组合可以用于本发明的一些实施例。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外光或半导体系统、装置或设备、或前述的任何合适的组合。所述计算机可读存储介质的更具体的示例(非详尽列表)将包括以下内容：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或上述的任意合适组合。在本文的上下内文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序。

计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播的数据信号，所述传播的数据信号具有包含在其中的计算机可读程序代码。这样的传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以为不是计算机可读存储介质的任何计算机可读介质，并且可以通信、传播或传输供指令执行系统、装置或设备使用或与其结合使用的程序。

包含在计算机可读介质上的程序代码及/或由此使用的数据可以使用任何适当的介质来传输，包括但不限于无线、有线、光缆、射频等，或上述的任意合适的组合。

可以利用一种或多种编程语言的任意组合来编写用于执行本发明某些实施例的操作的计算机程序代码，所述编程语言包括面向对象的编程语言，例如Java，Smalltalk，C++等，以及常规的过程编程语言，例如“C”编程语言或类似的编程语言。程序代码可以完全在用户计算机上执行，部分在用户计算机上作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以与外部计算机建立连接(例如，使用一互联网服务提供商通过互联网)。

下面可以参考根据本发明实施例的方法、装置(系统)及计算机程序产品的流程图及/或框图描述本发明的一些实施例。要理解的是，流程图及/或框图的每个框以及流程图和/或框图或框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，从而使得所述指令经由计算机的处理器执行或其他可编程数据处理设备，创建用于实现流程图及/或框图或框中指定的功能/动作的装置。

这些计算机程序指令也可以存储在计算机可读介质中，所述计算机可读介质可以指导计算机，其他可编程数据处理装置或其他设备以特定方式运行。从而使得存储在计算机可读介质中的指令产生包括实现在流程图及/或框图或框中指定的功能/动作的指令的制品。

也可以将计算机程序指令加载到计算机，其他可编程数据处理设备或其他设备上，以使一系列操作步骤在计算机，其他可编程设备或其他设备上执行以产生计算机实现的过程。使得在计算机或其他可编程装置上执行的指令提供了用于实现流程图和/或框图或框中指定的功能/动作的过程。

本文描述的一些方法通常仅被设计用于计算机使用，而对于人类专家而言，纯手工执行可能不可行或不实用。可能希望人类专家手动执行类似的任务，例如描绘由机器人的运动所跨越的体积，因此可能会使用完全不同的方法，例如，利用专家知识及/或人脑的模式识别功能，这将比手动执行本文所述方法的步骤效率更高。

附图说明

这里仅通过示例的方式，参考附图和图像描述了本发明的一些实施例。现在具体地具体参考附图和图像，要强调的是，显示的细节是作为示例并且出于对本发明的实施例的说明性讨论的目的。就这一点而言，结合附图和图像进行的描述对于本领域技术人员而言显而易见的是如何可以实践本发明的实施例。

在附图中：

图1是根据本发明示例性实施例用于在现实世界环境中显示虚拟机器人的系统的简化框图。

图2是根据本发明示例性实施例用于在现实世界环境中显示虚拟机器人的方法的简化流程图。

图3是显示根据本发明示例性实施例用于在现实世界环境中显示虚拟机器人的系统的简化图像。

图4是显示根据本发明示例性实施例用于在环境中显示虚拟机器人的系统的屏幕的简化图像。

图5是根据本发明示例性实施例的虚拟机器人的简化图。

具体实施方式

在一些实施例中，本发明涉及使用用于工业机器人的增强现实，并且更具体但非排他地涉及使用增强现实或虚拟现实来规划及/或测试一机器人的运动。

前言

增强现实(Augmented Reality,AR)是一种显示物理的方法,其中由计算机产生多个2D/3D对象的现实世界环境(real-world environment)显示为现实世界环境的一部分。计算机产生多个2D/3D虚拟对象可以选择显示为与现实世界互动。AR显示系统通常使用传感器来感测在所述现实世界环境中的多个对象的位置，以及实时(real-time)任选图像处理(image-processing)技术。无论用户是否通过计算机控件提供输入，AR显示系统都可以与用户进行互动，例如：按钮、键盘或触摸屏，或者通过检测显示虚拟对象的空间中的用户手势来完成。

虚拟现实(Virtual Reality,VR)是一种使用计算机产生多个2D/3D对象显示一虚拟世界环境的方法。在一些实施例中，VR显示系统使用传感器来感测现实世界环境中的现实对象的位置，并且可选地在所述虚拟世界环境中显示多个现实对象。

如本领域技术人员将理解的，在本说明书及权利要求书中使用的用语AR有意地包括VR。

AR已经被广泛用于各种行业，包括游戏、医疗行业及教育。每年都有越来越多的装置能够显示AR内容，因此AR平台对每个人来说都是负担得起的，而且每年都在不断改善。

根据一些实施例的方面，提供了一种在工业机器人工业(Industrial RoboticsIndustry,IRI)中使用AR的方法。

如今，IRI使用传统的3D软件(例如：RoboWorks，RoboDK)来可视化机器人应用，而无需使用实际的机器人。尽管这可能是只有测试机器人运动的较佳解决方案，但是，所述方法并未考虑到用户以及与机器人的环境互动等因素。

用于向机器人教示位置的一些示例实施例的方法为：

多个教示器(Teach Pendants)-手持装置，允许用户移动机器人然后保存与机器人位置相关联的机器人参数，以供之后使用。这种方法可以与AR及/或VR配合使用-用户使用AR(或VR)显示装置，并且操作由教示器控制的现实或虚拟机器人(可选地由AR或VR显示器显示)。

在一些实施例中，教示器(Teach Pendant,TP)用于控制由AR或VR装置显示的虚拟机器人的运动。

在某些实施例中，教示器(Teach Pendant,TP)用于控制现实机器人的运动，真正的机器人可以选择用来锚定或定位由AR或VR装置显示的虚拟机器人，以及可以选择显示移动，以使所显示的虚拟机器人的一部分与现实机器人重合，而所显示的虚拟机器人的一部分–例如，运动部分–显示为虚拟机器人运动，可选择不显示现实机器人运动。

在一些实施例中，例如在上述共同提交、共同待决及共同转让的美国专利申请“TEACH PENDANT”中描述的教示器(Teach Pendant,TP)可选地用于控制现实或虚拟机器人的运动，并且在所述TP的一屏幕上显示AR或VR显示器。在一些实施例中，所述TP包括或附接到平板电脑，而且所述平板电脑的屏幕可选地用于显示AR或VR显示器，及/或用于实现如触摸屏的用户界面。

牵鼻子引导(Lead By Nose)-一种技术，允许用户通过在机器人上施加力量(例如用手)来移动机器人，然后保存与机器人位置相关的机器人参数，以供之后使用。

教示器是通常为手持式的多个装置，可以控制现实或虚拟(模拟)机器人向特定位置的移动，并且可以选择保存位置及/或控制命令，以供之后使用。

在机器人是虚拟机器人的实施例中，用户有时在显示器上使用显示器显示机器人运动的计算机程序查看运动。

在一些AR实施例中，可选地扩展这样的显示，从而使得多个用户能够看到虚拟机器人及其与周围环境的互动，可选地同时使用教示器来控制(以及可选地保存命令)移动虚拟机器人。

在一些AR实施例中，可以选择使用AR代替传统教示器(手持式)或作为补充，例如，通过使用AR眼镜可以释放(free)用户的双手。可以通过观察增强世界上的某些点来进行慢跑，例如，查看出现在现实或虚拟机器人旁边的轻推按钮，从而有可能消除手持装置的至少某些缺点。

可以通过使用放置在现实世界中的物理预定义标记(physical predefinedmarkers)来设置虚拟对象(例如虚拟机器人)的现实世界位置。这种标记的示例可以是地面上的QR码。另外，实时图像处理(real-time image processing)可用于检测现实世界中对象的表面或边缘。

在各个实施例中，所使用的增强现实及/或虚拟现实装置包括多个移动平台；可穿戴技术；多个平板电脑；手机；AR眼镜及VR眼镜。

在一些实施例中，如虚拟机器人之类的虚拟对象可选地由镜头显示，例如在Microsoft HoloLens或Google Glass中，而不必在显示器或触摸屏上。

在各种实施例中，使用包括手势界面或注视界面的AR眼镜或显示器。

在一些实施例中，手势在空间中被检测，并且用作AR或VR系统的输入。

在一些实施例中，用户的注视被检测为在特定方向上观看，并且所述方向用于与AR或VR系统互动，例如，检测到用户注视的虚拟对象的注视方向，并且可选地选择虚拟对象及/或在注视方向上移动虚拟对象。

根据一些实施例的一方面，提供用于在增强现实环境(Augmented Realityenvironment)或虚拟现实环境(Virtual Reality environment)中使用AR或VR显示器来显示虚拟机器人运动的方法。

在本说明书整篇中使用所有语法形式的用语“虚拟机器人”，并且要求保护指的是由显示器显示的机器人。

在某些实施例中，可以将AR显示器或VR显示器集成到教示器软件中–在教示器屏幕中显示虚拟机器人，从而无需使用外部监视器来可视化虚拟机器人。

在一些实施例中，用户可以安全地靠近由AR显示器或VR显示器显示的移动虚拟机器人(moving virtual robot)的位置，而没有受到现实机器人(real robot)伤害的风险。

在一些实施例中，用户可以远离计算机/监视器，并且清楚直接地在虚拟机器人上执行操作。传感系统可以选择检测用户或用户的手势的位置，并且当用户的手势位于明显触摸虚拟机器人的位置时，传感系统会感应用户的手势动作，并转换动作以使用户像是AR显示器所显示的虚拟机器人一样。

现实机器人在损坏时，购买及/或操作及/或修复可能很昂贵。在AR设置中使用虚拟机器人可以节省费用，允许用户在现实世界中测试机器人运动程序、教育员工以及在可能没有真正的此类机器人时使用虚拟机器人。

现实机器人通常是工作中的装配线的一部分。在AR设置中使用虚拟机器人可以节省费用，从而潜在地使用户能够在不暂停生产的情况下测试机器人运动程序。

在某些实施例中，可以将VR显示器集成到教示器软件中–在教示器屏幕中显示虚拟机器人及虚拟环境，例如在工业环境中显示机器人。

可视化

在一些实施例中，AR显示系统用于在现实空间中显示虚拟机器人。

在一些实施例中，AR显示系统可选地用于在现实空间中显示虚拟体积，所述虚拟体积是虚拟机器人的整个运动范围的体积。

在一些实施例中，VR显示系统用于在虚拟空间中显示虚拟机器人。

在一些实施例中，VR显示器可选地显示虚拟机器人及动态虚拟环境，在装配线中显示，例如机器人，并在装配线中动态移动多个物件。

在一些实施例中，Denavit及Hartenberg(DH)的多个参数用于表示工业机器人。

在一些实施例中，为机器人分配DH参数，可选地计算机器人的工作空间，而且所述工作空间可选地由AR显示器显示。

在一些实施例中，AR显示系统可选地用于在空间中显示虚拟机器人，其中所述虚拟机器人出现在由用户命令确定的位置中。在一些实施例中，VR显示系统可选地用于在虚拟空间中显示虚拟机器人，其中所述虚拟机器人出现在由用户命令确定的位置。在一些实施例中，命令由教示器提供。在一些实施例中，命令由教示器提供，如上述美国临时专利申请中名称为“TEACH PENDANT AS ADD-ON”所述，其内容通过引用合并于此。

在一些实施例中，所述虚拟机器人出现在由用户命令确定的位置，但是出现在命令之后的特定时间。通过显示比命令晚的相应移动，显示系统可选地清楚将命令的虚拟执行延迟特定时间。作为非限制性示例，这种延迟可选地用于训练。作为非限制性示例，延迟可选地使得能够显示虚拟机器人执行错误的移动，例如与对象的碰撞，而且可以使用户做出反应以纠正错误的举动。

在一些实施例中，虚拟机器人被显示为出现在由包括几个机器人运动命令的程序确定的位置中，并且所述程序还使现实机器人在现实空间中运动。在一些实施例中，AR显示器可选地显示在使得现实机器人执行程序命令之前的特定时间段内执行程序命令的虚拟机器人。显示器显示虚拟机器人清楚地在现实机器人执行相同动作之前执行了动作。通过非限制性示例，在特定时间段之后，显示机器人将在某处的预览可选地用于训练。作为非限制性示例，预览可以选择启用以显示虚拟机器人执行错误的移动，例如与对象的碰撞，并可以使用户做出反应以停止，例如，在现实机器人执行错误的动作之前，使用紧急停止(E-stop)按钮。

多个显示装置

在一些实施例中，AR显示系统可选地使用以下一项或多项来显示增强现实显示器，其中虚拟机器人被增强到现实世界的图像上：

头戴式显示器、计算机显示器、平板电脑显示器、触摸屏及智能手机屏幕。

在一些实施例中，显示器可选地是平板电脑显示器，例如上述美国临时专利申请中名称为“TEACH PENDANT AS ADD-ON”的专利，其内容通过引用并入本文。在一些实施例中，平板摄像机机用于捕捉现实世界的一个或多个图像，而且平板电脑显示器显示虚拟机器人来增强现实世界图像。

在一些实施例中，平板电脑显示器动态地显示平板电脑摄像机动态捕捉的内容，其中虚拟机器人被扩大到现实世界的显示器中的一正确位置。

在一些实施例中，即使或当平板电脑指向其他地方时，所述平板电脑显示器也可以显示所述平板电脑摄像机捕捉的内容，而且现实世界的图像或背景图像用作虚拟机器人的显示背景。

在某些实施例中，平板电脑会自动检测到平板电脑摄像机捕捉的图像何时停止指向为虚拟机器人指定的位置，例如，当看不到锚定(anchoring)标记(下面将详细介绍)或看不到真正的机器人时。在一些实施例中，当平板电脑摄像机看不见虚拟机器人的预期位置时，平板电脑会发出警告。在某些实施例中，当看不到锚定标记或现实机器人时，平板电脑会显示先前的一个或多个显示世界的图像作为显示虚拟机器人的背景。

虚拟碰撞(virtual collisions)

在一些实施例中，用于显示虚拟机器人的AR显示系统包括关于环境中的现实对象的信息。

在一些实施例中，用于显示虚拟机器人的AR显示系统感测环境中显示对象的位置。

在一些实施例中，用于显示虚拟机器人的AR显示系统可选地不显示移动到多个位置的虚拟机器人，所述多个位置将导致现实机器人进入环境中现实物件所占据的空间。这样的AR显示系统在虚拟机器人的AR显示中实现避免碰撞。

在一些实施例中，用于显示虚拟机器人的AR显示系统可选地在现实空间中显示虚拟体积，只有在执行全范围运动的现实机器人将占据现实物件所占据的空间的情况下。这样的AR显示系统显示检测到虚拟机器人与现实对象的碰撞的空间。这样的显示器可以用于警告以及可选地解决计划现实机器人的计划位置或运动的问题。

在某些实施例中，用于显示虚拟机器人的AR显示系统包括有关环境中现实对象的信息，只有在执行一系列运动的现实机器人不会撞到现实物件的情况下，才在现实空间中显示虚拟体积。这样的AR显示系统显示虚拟机器人与现实对象不会发生碰撞的空间。这种显示器可以用于可视化计划现实机器人的安全体积及/或计划用于现实机器人的运动的安全体积。

定位及/或锚定(虚拟)机器人

在一些实施例中，将多个标记放置在现实环境中，例如在地板上或工作台上。在一些实施例中，所述多个标记由AR显示系统可选地感测，并且可选地用作显示虚拟机器人的特定部分的位置。

作为非限制性示例，所述多个标记可以对应于机器人的基座的形状，并且AR显示器显示虚拟机器人，其中虚拟机器人的基座与标记重叠。

在一些实施例中，标记可选地包括编码的数字数据，例如QR码。在一些实施例中，QR码包括以下信息中的一个或多个：与机器人的类型相关联的代码、关于位置的数据以及位置的识别码–例如，当AR显示系统对一个以上的位置进行编程或了解时。

在一些实施例中，AR显示系统可选地显示与所述标记中编码的机器人的类型相对应的虚拟机器人。

在一些实施例中，将标记放置在地板或工作台上，AR显示系统可选地用于显示虚拟机器人的操作，并且用户可选地调整标记的位置，从而调整显示虚拟机器人的位置。用户可以选择调整机器人的位置，以验证虚拟机器人及/或相应的现实机器人是否正确放置在现实空间中–维持安全；防止与现实对象或其他机器人碰撞；及/或到达机器人打算到达的位置。

手势引导(Lead by gesture)

在一些实施例中，可选地使用用于使机器人慢跑的“手势引导”方法来代替上述“牵鼻子引导”方法。用户可以选择使用手势(例如，拖动、推动)来选择，并且虚拟地移动虚拟机器人的AR显示器中的机器人或机器人部件，而不是向机器人施加力量。使得现实机器人或现实机器人部件沿相应方向移动。在一些实施例中，AR显示器的空间中的传感器显示虚拟机器人感测用户的手势的位置，并且解释所述空间中的手势。

在一些实施例中，在AR显示器清楚显示虚拟机器人运动的相同体积中做出手势。

在一些实施例中，AR显示器在触摸屏上显示虚拟机器人，并且在触摸屏上做出手势，以使AR显示器移动虚拟机器人的形状。

在一些实施例中，如平板电脑摄像机的摄像机检测到用户触摸了现实机器人，并且可选地向现实机器人提供命令，使其沿着远离触摸的方向移动，从而提供用户推动现实机器人的结果。

在某些实施例中，平板电脑之类的摄像机会在清楚触摸虚拟机器人的位置检测到用户的手势，并且可选地向虚拟机器人提供命令，以在远离触摸的方向上移动，从而提供用户清楚推动虚拟机器人的结果。

在一些实施例中，AR显示器可选地提供用户界面，供用户选择机器人自由度，以及可选地使用触摸屏上的拖动手势来确定自由度的移动程度。

在一些实施例中，AR显示器可选地提供用户界面，供用户选择机器人及/或一个或多个机器人运动参数，例如机器人运动框架或其他参数。例如速度、加速度、加速，混合参数和扭矩命令，并且可选地使用触摸屏上的拖动手势来确定移动运动帧的程度。

在一些实施例中，AR显示器可选地为用户提供用户界面以选择机器人附件来进行移动，并且可选地使用触摸屏上的拖动手势来确定附件被移动的程度。

在一些实施例中，平板电脑或某些其他移动或AR装置的前置摄像头可以选择性地追踪用户的眼睛，并检测用户在注视什么，以便选择要移动的机器人附件。在一些实施例中，前置摄像头可选地追踪用户正在注视的位置，可选地沿用户注视的方向移动选定的附件。

在某些实施例中，VR显示器用于实现上述方法-VR显示器同时显示虚拟机器人及工业环境。

“手势引导”方法可能比作用在现实机器人上的“牵鼻子引导”方法更安全，因为可以选择使用“手势引导”方法而无需接近已启用的现实移动机器人。

在一些实施例中，用户可以远离计算机/监视器，并且清楚直接在虚拟机器人上执行操作。传感系统可以选择检测用户或用户的手势的位置，并且当用户的手势位于清楚触摸虚拟机器人的位置时，传感系统感应到用户手部的运动或手势，并将这些运动转换为用户，由AR显示器显示。

系统监控

在一些实施例中，可以显示实时实况数据，并在现实(或虚拟)机器人的顶部进行扩充，以显示系统信息，例如任务、运动帧、机器人属性及驱动器状态等。用户可以选择直接从AR应用程序中更改现实机器人的参数，而不必使用其他人机界面或计算机监视器或键盘。

安全

在一些实施例中，用户与AR或VR显示系统互动，以标记现实环境或虚拟环境中的物件周围的安全区域。

在一些实施例中，AR或VR显示可选地避免将虚拟机器人移动到安全区域中。

在一些实施例中，当用户移动虚拟机器人的命令，将虚拟机器人移动到安全区域时，AR或VR显示器可选地提供警告，例如听觉或视觉警告。

现实环境

在一些实施例中，AR显示系统显示位于现实环境中的虚拟机器人。

在一些实施例中，AR显示系统可选地包括在现实环境中定位现实对象的传感器，而且AR显示系统可选地考虑现实对象的位置，例如对象回避(object avoidance)。

虚拟环境

在一些实施例中，VR显示系统显示位于虚拟环境中的虚拟机器人。

在一些实施例中，VR显示系统可选地包括在现实环境中定位现实对象的传感器，而且VR显示系统可选地显示虚拟机器人以及在现实环境中再现现实物件的虚拟环境。

在一些实施例中，平板电脑、移动装置或AR装置的摄像机可选地用于捕捉环境的一个或多个图像，并随后在所述虚拟环境中显示相应的虚拟环境以及虚拟机器人。

员工教育

在一些实施例中，可选地对员工进行虚拟机器人的教育，甚至可能不在工业用地位置，以及可能不受限于现实机器人没有工业任务的时间–可能节省时间、费用、公司资源，并且消除了对损坏现实机器人的恐惧。

在详细解释本发明的至少一个实施例之前，应当理解的是，本发明的应用并不一定限于在以下描述中阐述及/或在附图及/或示例中显示的部件及/或方法的构造以及布置细节。本发明能够具有其他实施例，或者能够以各种方式被实践或执行。

现在参考图1，是根据本发明示例实施例，用于在现实世界环境中显示虚拟机器人的系统的简化框图。

图1显示一计算单元101、一显示器103、一机器人的计算机模型102、一摄像机104以及一用户界面105。

在一些实施例中，所述计算单元101可选地具有描述所述计算机模型102的数据，并且可选地被配置为基于特定模型102的可能运动来计算模型102的运动。

在一些实施例中，所述计算单元101可选地控制所述显示器103，以显示与模型102的特定形状相对应的虚拟机器人。在一些实施例中，所述计算单元101可选地控制所述显示器103，以对于模型102可能的任何形状显示虚拟机器人。

在一些实施例中，所述计算单元101可选地控制所述显示器103，以显示由所述摄像机104捕捉的现实环境。

图1显示代表环境106的可选框106。

在一些实施例中，所述计算单元101可选地控制所述显示器103，以显示虚拟环境，所述虚拟环境可选地与系统的现实环境无关。

在一些实施例中，所述计算单元101可选地控制所述显示器103，以显示虚拟环境，可选地基于系统的现实环境的一个或多个图像或视频剪辑(video clip)。

在一些实施例中，所述计算单元101可选地通过所述用户界面105与用户对接。

在一些实施例中，所述用户界面105用于为以下提供用户输入：

从系统中可用的及/或通过加载到系统中可获得的多个机器人模型102中选择特定的机器人模型；

选择一特定的机器人附件，以控制所显示的虚拟机器人的运动显示；

选择特定的机器人运动框架，例如关节、基础、世界或工具，以控制所显示的虚拟机器人对运动的显示；

选择特定的机器人参数，以控制所显示的虚拟机器人的运动显示；及

选择要控制的虚拟机器人所显示的运动的特定机器人或机器人类型。

致使机器人运动的运动程度。范围可选地由用户手势提供。在一些实施例中，用户手势是沿着触摸屏的拖动或滑动，可选地，平板电脑的显示器。在一些实施例中，用户手势是摄像机104可检测到的手势或手指运动。在一些实施例中，用户手势是摄像机104可检测到的眼睛运动。在一些实施例中，用户手势是可由平板电脑的前置摄像头检测到的眼睛运动。

在一些实施例中，摄像机104用于检测现实环境中与虚拟机器人对准的标记。

在一些实施例中，所述计算单元101控制所述显示器103，以显示现实世界的实时图像，并且还显示位于现实世界中由标记指示的位置处的虚拟机器人的图像。

在一些实施例中，所述计算单元101控制所述显示器103，以显示虚拟世界的图像，以及位于标记所指示的位置处的虚拟世界中的虚拟机器人的图像。

现在参考图2，是根据本发明示例实施例，表示用于在现实世界环境中显示虚拟机器人的方法的简化流程图。

图2的方法包括：

提供一机器人的一模型(202)；

提供一现实世界环境的一图像(204)；

根据计算机模型在现实世界中的特定位置计算机器人(206)的模型的一形状；及

使用显示器将机器人的形状显示为虚拟机器人，并且基于现实世界环境的图像显示一工业环境(208)。

现在参考图3，是根据本发明示例实施例，表示用于在现实世界环境中显示虚拟机器人的系统的简化图像。

图3显示一种系统，包括具有一显示器的一计算机301，显示基于机器人的计算机模型的虚拟机器人305，而且在所述计算机301中还显示可选地由摄像机(未绘示)获得的现实世界302的现实世界图像303。

图3还显示用户的手指304操纵所述计算机301上的触摸屏，以控制所述系统。

能够将图3理解为显示用户选择虚拟机器人305的特定部分来控制，并且可选地显示与所选择的特定部分相关联的标识符(identifier)306。

可替代地，能够将图3理解为显示滑动手指304，以控制所述虚拟机器人305的特定部分的运动程度，而且可选地，显示与挥动所指示的运动程度相关联的数据306。

现在参考图4，是根据本发明示例实施例，表示用于在环境中显示虚拟机器人的系统的屏幕的简化图像。

图4表示显示工业环境403中的虚拟机器人402的屏幕401。

显示为工业环境403可以是任何工业环境，例如流水线、实验室工作台或者设置可以是非工业性的，例如用于医疗环境的诊所或手术室，或如足球之类的游戏场中的游戏机器人，或者用于游戏机器人环境的带有棋盘的桌子。

图4还显示屏幕401，表示用于控制虚拟机器人402可选的多个控件404。在一些实施例中，所述屏幕401是触摸屏，而且所述多个控件404可选地通过触摸及/或滑动运动来操纵。

现在参考图5，根据本发明示例实施例的虚拟机器人的简化图示。

图5显示代表虚拟机器人的致动部件501、502、503的符号。所述致动部件501、502、503可以是马达、线性马达、气动致动器、气动致动器或任何其他类型的致动部件。

虚拟机器人可以具有一个或多个运动自由度，并且所述致动部件501、502、503中的每一个潜在地实现虚拟机器人的一个或多个运动自由度。

图5还表示在显示的虚拟运动期间所述虚拟机器人的尖端504跨越的空间中的体积505。通过一些非限制性实施例，所述虚拟机器人的尖端可以包括工具、机器人手臂及抓握工具的机器人手臂。

在图5中，所述体积505主要是在描绘根据本发明示例实施例的系统能够可选显示的潜在体积。在一些实施例中，所述体积505可以不代表虚拟机器人的尖端跨越的体积，但是，作为非限制性示例，整个体积被虚拟机器人可能的任何位置所跨越，或者整个体积的特定部分。

通过一些非限制性示例，所述体积505潜在地描绘出：

虚拟机器人的整个运动范围；

机器人的运动范围，但虚拟机器人将占据与现实对象相同空间的体积除外；

虚拟机器人的运动范围的一部分，其中虚拟机器人似乎以加亮体积占据与现实对象相同的空间；

在一些实施例中，体积505被显示为加亮体积：

可以预期，在从本申请获得专利的有效期内，将会开发出许多相关的AR显示器，而且用语AR显示器的范围主要是在先于包括所有此类新技术。

可以预料的是，在此申请到期的专利期间，将开发许多相关的机器人，并且用语“机器人”的范围主要是在优先包含所有此类新技术。

用语“包括(including)”，“包含(include)”，“具有(having)”和它们的结合词是指“包括但不限于(including but not limited to)”。

用语“由...组成(consisting of)”主要是在表示“包括并限于(including andlimited to)”。

用语“基本上由...组成(consisting essentially of)”是指所述组合物、方法或结构可包括其他成分、步骤及/或部分，但前提是其他成分、步骤及/或部件不会实质性改变所要求保护的组合物、方法或结构的基本和新颖特征。

如本文所使用的，单数形式的“一(a)”，“一(an)”和“所述(the)”包括复数引用，除非上下文另外明确指出。例如，用语“一单元”或“至少一单元”可以包括多个单元，包括其组合。

词语(word)“示例(example)”和“示例性(exemplary)”在本文中用来表示“用作示例、实例或说明”。被描述为“示例”或“示例性”的任何实施例不必被解释为比其他实施例优选或有利，及/或从其他实施例中排除特征的并入。

词语“可选地”在本文中用来表示“在一些实施例中提供而在其他实施例中不提供”。本发明的任何特定实施例可以包括多个“可选”特征，除非这些特征冲突。

在整个申请中，本发明的各种实施例可以以范围格式呈现。应当理解的是，范围格式的描述仅是为了方便及简洁，而不应被解释为对本发明范围的僵化限制。因此，应该认为范围的描述已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，对范围从1到6的描述应被视为已明确公开了从1到3，从1到4，从1到5，从2到4，从2到6的子范围。从3到6等，以及所述范围内的单个数字，例如1、2、3、4、5及6。这与范围的广度无关。

无论何时在此指出数值范围(例如“10-15”，“10至15”或由这些其他这样的范围指示链接的任意一对数字)，除非上下文另有明确规定，否则应包括所指示范围限制内的任何数字(分数或整数)，包括范围限制。短语(phrases)“范围/范围/之间的范围”是第一个指示数字和第二个指示数字，以及“范围/范围/从...开始的范围”是第一个指示数字“至”、“最大”、“直到”或“直通”(或另一个这样的范围指示用语)第二指示数字在本文中可互换使用，并且主要是在包括第一及第二指示数字以及它们之间的所有分数及整数。

除非另有说明，否则如本领域技术人员所理解的，在此使用的数字及基于其的任何数字范围是合理测量和舍入误差的精度内的近似值。

应当理解的是，为了清楚起见在单独的实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反地，为简洁起见，在单个实施例的上下文中描述的本发明的各种特征，也可以单独地或以任何合适的子组合或者如在本发明的任何其他所描述的实施例中那样适当地提供。在各种实施例的上下文中描述的某些特征不应被认为是那些实施例的必要特征，除非所述实施例没有那些要素就不能工作。

尽管已经结合本发明的特定实施例描述了本发明，但是显然地，对于本领域技术人员而言许多替代、修改及变化将是显而易见的。因此，主要是在涵盖落入所附权利要求的精神和广泛范围内的所有这样的替代、修改以及变化。

本说明书中提及的所有出版物、专利及专利申请都通过引用整体并入本文，其程度与好像每个单独的出版物，专利或专利申请被具体地和单独地指示通过引用并入本文的程度相同。另外，在本申请中对任何参考文献的引用或标识均不应解释为承认该参考文献可用作本发明的现有技术。就使用本段落标题而言，不应将其解释为必然的限制。

Claims (48)

1.一种用于在包含一现实机器人的一现实世界环境中显示一虚拟机器人的系统，所述系统包括：

一机器人的一计算机模型；

一摄像机，用于捕捉包含所述现实机器人的所述现实世界环境的一图像；

一显示器，用于将一机器人的一计算机模型显示为在所述现实世界环境中的一虚拟机器人，其中所述虚拟机器人为所述现实机器人的一重现；

一计算单元，用于计算所述机器人的所述计算机模型的运动，并根据所述机器人的所述计算机模型控制所述显示器在一特定位置显示所述虚拟机器人的一形状；及

一人机界面，对一用户向所述计算单元提供命令，以计算所述机器人的所述形状，并通过选择一特定机器人参数来控制所述虚拟机器人运动的一显示，以使所述虚拟机器人运动；

一控制器，用于控制所述虚拟机器人的运动，使得所述虚拟机器人的一部分与所述现实机器人重合，并且在所述现实机器人不运动的情况下显示所述虚拟机器人的一运动部分。

2.如权利要求1所述的系统，其中：所述机器人的所述模型为一现实世界机器人。

3.如权利要求1所述的系统，其中：所述机器人的所述模型是一工业机器人的一计算机模型。

4.如权利要求1所述的系统，其中：所述计算单元配置用于控制所显示的所述机器人的所述模型的运动作为所述虚拟机器人的运动。

5.如权利要求1所述的系统，其中：所述显示器为一虚拟现实显示器，而且所述系统还包含所述计算单元被布置用以控制所述虚拟现实显示器以显示所述虚拟机器人的一虚拟环境。

6.如权利要求5所述的系统，其中：所述虚拟环境是基于所述现实世界环境的所述图像。

7.如权利要求1所述的系统，其中：所述计算单元配置用以控制所显示的所述机器人的所述模型可能的所有动作的运动。

8.如权利要求1所述的系统，其中：所述计算单元配置用以控制所显示的所述机器人的所述模型可能的所有动作的运动到这些动作的全部运动范围。

9.如权利要求8所述的系统，其中：所述显示器配置用以将全部运动范围显示为空间中的一加亮体积。

10.如权利要求1所述的系统，其中：所述显示器为一增强现实显示器。

11.如权利要求10所述的系统，其中：所述系统还包括多个传感器，所述传感器用于检测一用户的手势。

12.如权利要求11所述的系统，其中：所述多个传感器布置用以在所述现实世界环境中检测所述用户的手势，在所述现实世界环境中，所述增强现实显示器清楚地显示所述虚拟机器人。

13.如权利要求11及12中的任一项所述的系统，其中：所述多个传感器布置用以检测在一现实世界空间中的一现实对象，在所述现实世界空间中，所述显示器显示所述机器人。

14.如权利要求13所述的系统，其中：所述显示器配置用以避免在与所述现实对象相同的空间中显示所述机器人。

15.如权利要求13所述的系统，其中：所述显示器配置用以显示所述虚拟机器人的全部运动范围，除了当所述虚拟机器人作为空间中的一加亮体积出现而占据与一现实对象相同的空间时。

16.如权利要求13所述的系统，其中：当所述虚拟机器人作为空间中的一加亮体积出现而占据与一现实对象相同的空间时，所述显示器配置为仅显示所述虚拟机器人的运动范围的一部分。

17.如权利要求1所述的系统，其中：所述计算单元被包含在所述显示器中。

18.如权利要求10所述的系统，其中：所述增强现实显示器包含一头戴式显示器。

19.如权利要求1所述的系统，其中：所述显示器包含一平板电脑，而且所述平板电脑的屏幕布置用以显示所述虚拟机器人。

20.如权利要求19所述的系统，其中：所述平板电脑的屏幕还布置用以显示所述虚拟机器人的一虚拟环境。

21.如权利要求19所述的系统，其中：所述平板电脑的屏幕还布置用以显示由所述摄像机捕捉的所述现实世界环境。

22.如权利要求19所述的系统，其中：所述平板电脑的屏幕包含一触摸屏，而且所述系统布置为使用所述触摸屏来输入用户的手势来控制所述虚拟机器人的运动。

23.如权利要求22所述的系统，其中：所述系统布置为使用所述触摸屏来输入要显示哪一种类型的机器人。

24.如权利要求22至23中的任一项所述的系统，其中：所述系统布置为使用所述触摸屏来输入要移动哪一个机器人附件。

25.如权利要求22所述的系统，其中：所述系统布置成使用所述触摸屏来选择要被控制的一机器人的一运动框架的哪一个轴。

26.如权利要求25所述的系统，其中：所述系统布置为使用所述触摸屏来输入所选择的机器人的所选择的轴要被推移多少。

27.如权利要求1所述的系统，其中：所述系统还包括在所述现实世界环境的一标记，所述标记与在所述现实世界环境中为所述机器人规划的一位置相关联。

28.如权利要求1所述的系统，其中：所述系统还包括至少一装置传感器，所述至少一装置传感器选自于以下的一群组：

一陀螺仪；

一加速度计；及

一全球定位系统单元。

29.如权利要求1所述的系统，其中：所述系统用于描绘在一现实世界环境中由所述机器人的运动所跨越的一空间。

30.一种在包含一现实机器人的一现实世界环境中显示一虚拟机器人的方法，包括：

提供一机器人的一计算机模型；

提供包含所述现实机器人的所述现实世界环境中的一图像；

根据所述计算机模型计算所述机器人的所述计算机模型在所述现实世界环境中的一特定位置的一形状；及

使用一显示器将所述机器人的所述计算机模型的所述形状显示为所述虚拟机器人，所述虚拟机器人为所述现实机器人的一重现，并且基于一现实世界环境中的所述图像显示一工业环境；

其中所述虚拟机器人被显示在所述现实世界环境中的一特定位置，使得所述虚拟机器人的一部分与所述现实机器人重合，并且在所述现实机器人不运动的情况下显示所述虚拟机器人的一运动部分。

31.如权利要求30所述的方法，其中：所述显示器为一增强现实显示器。

32.如权利要求31所述的方法，其中：所述方法还包括感测一用户的手势，并且使用所述用户的手势来改变所述虚拟机器人的显示。

33.如权利要求32所述的方法，其中：所述感测是通过一摄像机从所述增强现实显示器显示所述机器人所在的一现实世界空间中捕捉多个图像来执行的。

34.如权利要求31所述的方法，其中：多个输入传感器布置用以在所述增强现实显示器显示所述机器人所在的一现实世界空间中检测用户的手势。

35.如权利要求34所述的方法，其中：所述方法还包括使用所述用户的手势来改变所述增强现实显示器显示所述模型的所述形状。

36.如权利要求32所述的方法，其中：所述机器人的所述模型为一工业机器人的一计算机模型。

37.如权利要求32所述的方法，其中：计算所述机器人的所述模型的一形状包括控制所显示的所述虚拟机器人的运动。

38.如权利要求30所述的方法，其中：所述显示器为一虚拟现实显示器，而且计算所述机器人的所述模型的一形状包括控制所述虚拟现实显示器以显示所述虚拟机器人的一虚拟环境。

39.如权利要求38所述的方法，其中：所述虚拟环境是基于所述现实世界环境中的所述图像。

40.如权利要求32所述的方法，其中：所述方法还包含感测在所述现实世界环境中的一标记，所述标记与在所述现实世界环境中为所述机器人规划的一位置相关联。

41.如权利要求32所述的方法，其中：所述显示器用于描绘由所述虚拟机器人的运动所跨越在现实世界环境中的一空间。

42.如权利要求32所述的方法，其中所述显示器用于将所述虚拟机器人的全部运动范围显示为空间中的一加亮体积。

43.如权利要求32所述的方法，其中：感测一用户的手势包括感测所述显示器显示所述虚拟机器人所在的一现实世界空间中的一现实对象。

44.如权利要求43所述的方法，其中：所述方法还包括避免在所述现实对象的一现实世界空间中的一相同空间中显示所述虚拟机器人。

45.如权利要求43及44中的任一项所述的方法，其中：所述方法还包含显示所述虚拟机器人的全部运动范围，除了当所述虚拟机器人作为空间中的一加亮体积出现而占据与所述现实对象相同的空间时。

46.如权利要求43所述的方法，其中：所述方法还包含仅显示所述虚拟机器人的运动范围的一部分，其中所述虚拟机器人被计算出其作为空间中的一加亮体积占据与所述现实对象的一现实世界空间相同的空间。

47.如权利要求30所述的方法，其中：所述方法还包括：

使用一平板电脑的一前置摄像机检测一用户的眼睛；

计算所述用户注视的地方；及

根据所述用户注视的地方选择要控制的一虚拟机器人附件。

48.如权利要求30所述的方法，其中：所述方法还包括：

使用一平板电脑的一前置摄像机检测一用户的眼睛；

计算所述用户注视的地方；

追踪所述用户注视的方向的一位移；及

基于所述用户注视的方向的所述位移，控制显示所选择的虚拟机器人附件的移动。