CN106471441A - 用于显示机器人设备动作的虚拟表示的增强现实的方法和系统 - Google Patents

用于显示机器人设备动作的虚拟表示的增强现实的方法和系统 Download PDF

Info

Publication number
CN106471441A
CN106471441A CN201580033617.6A CN201580033617A CN106471441A CN 106471441 A CN106471441 A CN 106471441A CN 201580033617 A CN201580033617 A CN 201580033617A CN 106471441 A CN106471441 A CN 106471441A
Authority
CN
China
Prior art keywords
robot device
robot
action
virtual representation
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580033617.6A
Other languages
English (en)
Inventor
J.J.库夫纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X Development LLC
Original Assignee
X Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Development LLC filed Critical X Development LLC
Publication of CN106471441A publication Critical patent/CN106471441A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/032—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了用于显示机器人设备动作的虚拟表示的增强现实界面的示例方法和系统。一种示例方法包括接收指示出机器人设备执行任务的动作或意图的信息，并且动作或意图包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。该方法还包括提供动作或意图的虚拟表示来由计算设备在增强现实界面上显示，并且虚拟表示包括机器人设备的计划轨迹的至少一部分或者突出机器人设备要操作的物体作为增强现实界面上的注释。

Description

用于显示机器人设备动作的虚拟表示的增强现实的方法和 系统
相关申请的交叉引用
本公开要求2014年8月25日递交的美国临时专利申请62/041,173号的优先权，这里通过引用并入该申请的全部内容。
背景技术
除非本文另外指出，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
机器人设备可被以详细方式编程为执行许多任务，或者可被以一般方式编程，然后可基于机器人设备可用的环境或物体来确定任务的特定实现。机器人设备可利用自动反馈技术来告知附近的人类机器人设备的动作或意图，例如告知机器人设备意图执行的未来动作。然而，听觉评论在一些情况中可能是不合需要的。
发明内容
示例实施例可涉及包含增强现实来显示用于执行任务的机器人设备动作或意图的虚拟表示的方法和系统。机器人设备可与其他附近设备通信以提供用于显示虚拟表示的信息，这些虚拟表示可告知机器人设备已被编程执行的未来动作。在其他示例中，机器人设备可将关于未来动作或意图的信息直接提供到机器人设备在其中操作的物理环境中。
示例可与基于云的服务结合执行来辅助机器人系统进行环境感知和交互。具体地，基于云的服务可经由通信网络与机器人系统交互以从机器人系统接收信息以及向机器人系统发送信息。这种配置可减小(或消除)为了由机器人系统执行某些任务而对在机器人系统上的额外机载存储器和处理力的需求。此外，基于云的服务可允许多个机器人系统之间的数据共享。另外，基于云的服务可随着机器人系统从环境获得信息而被连续不断地更新。
例如，机器人系统可与基于云的服务交互以接收允许机器人系统执行任务的指令。基于云的服务可进行大规模仿真以基于各种因素生成指令。这种因素可包括从机器人系统接收的传感器数据、其他机器人系统用来执行该任务(或类似任务)的先前过程和/或机器人系统的配置，等等。
在一个方面中，提供了一种方法。该方法包括接收指示出机器人设备执行任务的动作或意图的信息，并且动作或意图包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。该方法还包括提供动作或意图的虚拟表示来由计算设备在增强现实界面上显示，并且虚拟表示包括机器人设备的计划轨迹的至少一部分或者突出机器人设备要操作的物体作为增强现实界面上的注释。
在另一方面中，提供了一种非暂态计算机可读介质。该非暂态计算机可读介质上存储有指令，这些指令在被计算设备执行时使得该计算设备执行功能。这些功能包括接收指示出机器人设备执行任务的动作或意图的信息，并且动作或意图包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。这些功能还包括提供动作或意图的虚拟表示来显示在增强现实界面上，并且虚拟表示包括机器人设备的计划轨迹的至少一部分或者突出机器人设备要操作的物体作为增强现实界面上的注释。
在另外一方面中，提供了另一种方法，其包括接收指示出机器人设备执行任务的动作或意图的信息，并且基于该动作或意图，确定机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。该方法还包括确定邻近机器人设备的一个或多个计算设备，并且提供该动作或意图的虚拟表示来由该一个或多个计算设备在增强现实界面上显示，并且该虚拟表示包括机器人设备的计划轨迹的至少一部分作为增强现实界面上的注释或者突出机器人设备要操作的物体。
在一个方面中，提供了一种系统，其包括用于接收指示出机器人设备执行任务的动作或意图的信息的装置，并且该动作或意图包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。该系统还包括用于提供动作或意图的虚拟表示来由计算设备在增强现实界面上显示的装置，并且该虚拟表示包括机器人设备的计划轨迹的至少一部分或者突出机器人设备要操作的物体作为增强现实界面上的注释。
在另外一方面中，提供了另一种由计算机实现的方法，其包括接收指示出机器人设备在物理环境中执行任务的动作或意图的信息，并且该动作或意图包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。该方法还包括由设备向物理环境中提供动作或意图的虚拟表示，其中虚拟表示包括机器人设备的计划轨迹的至少一部分的指示或者突出机器人设备要操作的物体。
在另外一方面中，提供了另一种系统，其包括用于接收指示出机器人设备在物理环境中执行任务的动作或意图的信息的装置，并且该动作或意图包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一者或多者。该系统还包括用于由设备向物理环境中提供动作或意图的虚拟表示的装置，其中虚拟表示包括机器人设备的计划轨迹的至少一部分的指示或者突出机器人设备要操作的物体。
本领域普通技术人员通过在适当时参考附图阅读以下详细描述，将清楚这些以及其他方面、优点和替换方案。
附图说明
图1是根据示例实施例的用于基于云的计算的示例系统。
图2A图示了示例客户端设备。
图2B图示了机器人的图形示例。
图2C图示了机器人的另一示例。
图3图示了概念性的机器人-云交互的示例。
图4是其中机器人可与云交互并且与其他云计算设备共享信息的示例系统。
图5是根据本文描述的至少一些实施例的用于提供增强现实界面来显示机器人设备动作的虚拟表示的示例方法的框图。
图6图示了机器人设备的示例环境，以及机器人设备的计划动作的示例虚拟表示。
图7图示了机器人设备的另一示例环境，以及机器人设备的计划动作的示例虚拟表示。
图8A图示了被穿戴者穿戴的示例可头戴设备(head mountable device，HMD)。
图8B图示了被穿戴者穿戴的另一示例可头戴设备(HMD)。
图9是根据本文描述的至少一些实施例的用于提供增强现实界面来显示机器人设备动作的虚拟表示的另一示例方法的框图。
图10图示了机器人设备的另一示例环境，以及机器人设备的计划动作的示例虚拟表示。
图11是根据本文描述的至少一些实施例的用于提供增强现实界面来显示机器人设备动作的虚拟表示的另一示例方法的框图。
图12是根据本文描述的至少一些实施例的用于提供机器人设备动作的虚拟表示的增强现实显示的另一示例方法的框图。
图13图示了机器人设备的另一示例环境，以及机器人设备的计划动作的示例虚拟表示。
具体实施方式
本文描述了示例方法和系统。应当理解，词语“示例”、“示范性”和“例示性”在本文中用来意指“充当示例、实例或例示”。本文描述为“示例”、“示范性”或“例示性”的任何实施例或特征不一定要被解释为比其他实施例或特征更优选或有利。本文描述的示例实施例不欲进行限定。容易理解，本文概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都明确地设想到了。
I.概述
在示例内，增强现实界面可用于提供指示机器人设备的动作或意图的反馈或信息。作为一个示例，可提供头戴式显示器，其包括机器人的实况视频馈送或者简单地包括提供穿戴者视野的透视显示器。机器人设备可被编程为与头戴式显示器通信以提供可被头戴式显示器视觉显示并被覆盖到实况视频馈送上的注释。这些注释可指示出例如机器人设备的未来导航路径，例如显示一组虚拟足迹来表示机器人设备的未来行走步伐。在机器人设备移动期间，头戴式显示器可将未来脚步的表示覆盖到实况视频馈送或穿戴者视野上以指示机器人设备的轨迹。
也可在其他设备上提供增强现实界面。例如，移动电话可被编程为包括与机器人设备的状态同步的应用，使得机器人设备可向任何附近电话广播其意图并且电话随后渲染出被覆盖到该电话的实况相机馈送上的信息以图示出该意图的表示。在其他示例中，电话可额外地或替换地接收来自机器人设备的视野的相机馈送并且将意图的细节覆盖到该相机馈送上。这些细节可包括关于未来意图的或者关于对机器人设备意图做什么的理解的语义信息。
机器人设备可在移动之前或移动期间提供该信息以传达对于提供反馈有用的详细的未来运动和意图。此外，用户随后可有时间来确认这是要机器人设备执行的期望行为或任务。作为示例，机器人设备可被指令从厨房在数个碗中选择一只碗。机器人设备可对用户的需求做出评估，并且基于对大小、类型和材料的估计来选择一只碗。机器人设备可向头戴式显示器提供覆盖注释，并且头戴式显示器可显示被覆盖到穿戴者视野上的注释以突出机器人设备将要取回的碗。用户随后能够看到选择的碗并且修改或确认对机器人设备的指令。
增强现实界面随后被用于提供关于在物理世界中移动的机器人设备的状态和未来运动的反馈。该界面包括覆盖来用信息(语义信息)数字地注释视频馈送或穿戴者视野。该信息例如可指示导航意图、一组未来脚步或者用于轮式机器人的地板上的覆盖该机器人的未来轨迹的条纹。在机器人设备正与物体交互或者将要与物体交互的情况中，要被操纵的物体可在覆盖中被突出。此外，机器人设备也可通过使用可控向(steerable)的激光指针在物体上提供点或者使用投影仪将光投射到物体上并指示出机器人计划捡拾起物体的地方(例如，突出水罐上的把手)来主动突出该物体。
在另外的示例中，机器人设备可接收来自设备的带有用于确认或修改机器人设备的未来轨迹或意图的信息的通信。例如，用户可接收被覆盖到增强现实界面上的未来意图，然后使用包括惯性测量单元(inertial measurement unit，IMU)或加速度计来跟踪姿态和位置的设备，例如移动计算机或专用设备(例如棒状设备或智能手表)。该设备可向机器人设备提供信息，例如用户指向何处来命令机器人设备去到某处。用户可使该设备指向某处并且按压按钮来表示开始，然后机器人设备可接收这些指令，将该设备的移动和运动解读为方向性命令，并且计算从A到B的路径，随后提供要被覆盖到增强显示上的信息来指示其计划的未来脚步。指令也可以其他方式来提供，例如通过利用激光指针沿着某一路径投射光。
在提供该命令之后，该设备可接收机器人设备计划去往何处的增强现实视觉覆盖，并且如果机器人设备误解了位置或者用户希望修改路线或路径，则用户可在机器人设备已沿着该路径走过了太远之前做到这一点。
在另外的示例中，机器人设备或该区域中的其他计算设备可向物理环境中提供虚拟表示。例如，计划轨迹的投影可被提供到环境中的地板上，或者机器人设备要操作的物体可被机器人设备突出。
II.用于机器人-云交互的示例体系结构
现在参考附图，图1是用于基于云的计算的示例系统100。基于云的计算一般指的是联网的计算机体系结构，其中应用执行和存储可在某种程度上在客户端和服务器设备之间来划分。“云”例如可以指客户端和服务器设备通过网络(例如，互联网)可访问的服务或一组服务。
在一个示例中，连接到云的任何计算机可连接到同一池子的计算力、应用和文件。从而，云计算实现了能够以最低限度的管理精力或服务提供者交互来配设和释放的可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池。用户可在远程服务器上存储和访问诸如音乐、图片、视频和书签之类的个人文件或者玩游戏或者使用生产力应用，而不是物理地随身携带存储介质。
作为示例，与占绝大多数的基于客户端的或基于服务器的应用不同，基于云的应用可在远程服务器设备处存储数据和/或可执行程序逻辑的拷贝，同时允许客户端设备根据需要下载此数据和程序逻辑中的至少一些来在客户端设备处执行。在一些示例中，下载的数据和程序逻辑可针对访问基于云的应用的特定客户端设备(例如，个人计算机、平板或移动电话，或者机器人)的能力来加以定制。此外，在客户端和服务器设备之间划分应用执行和存储允许了服务器设备执行更多处理，从而例如利用了服务器设备的处理力和能力。
基于云的计算也可以指这样的分布式计算体系结构：其中用于基于云的应用的数据和程序逻辑被以近实时的方式在一个或多个客户端设备和/或服务器设备之间共享。此数据和程序逻辑的一些部分可根据需要或以其他方式被动态递送到访问基于云的应用的各种客户端。该体系结构的细节对于客户端设备的用户可以是透明的。从而，例如，访问基于云的应用的PC用户或机器人客户端设备可不知晓，PC或机器人从服务器设备下载程序逻辑和/或数据，或者PC或机器人将处理或存储功能转移给了服务器设备。
在图1中，云102包括云服务104、云平台106、云基础设施108和数据库110。云102可包括更多或更少的组件，并且云服务104、云平台106、云基础设施108和数据库110的每一者也可包括多个元件。从而，系统100的描述的功能中的一个或多个可被划分成额外的功能组件或物理组件，或者组合成更少的功能组件或物理组件。在一些另外的示例中，可向图1所示的示例添加额外的功能组件和/或物理组件。云计算的递送例如可涉及多个云组件通过诸如web服务和三层体系结构之类的应用编程接口与彼此通信。
云102可表示联网计算机体系结构，并且在一个示例中，云服务104表示用于处理来自客户端设备的请求的队列。云平台106可包括云的前端并且可耦合到云服务104以执行功能来与客户端设备交互。云平台106可包括用于经由用户界面例如web浏览器来访问云102的应用。云基础设施108可包括云102的记账组件的服务应用，从而可与云服务104交互。数据库110可表示云102的存储能力，从而可被云服务104、云平台106和/或基础设施108的任何一者访问。
系统100包括被耦合或被配置为能够与云102的组件通信的数个客户端设备。例如，计算机112、移动设备114、主机116和机器人客户端118被示为耦合到云102。当然，更多或更少的客户端设备可耦合到云102。此外，不同类型的客户端设备可耦合到云102。例如，客户端设备的任何一者一般可包括显示系统、存储器和处理器。
计算机112可以是任何类型的计算设备(例如，PC、膝上型计算机等等)并且移动设备114可以是任何类型的移动计算设备(例如、膝上型电脑、移动电话、蜂窝电话等等)。
主机116可以是任何类型的具有被配置为向云102发送/从云102接收数据的发送器/接收器的计算设备，包括膝上型计算机、移动电话等等。
机器人客户端118可包括具有与云102的连接能力并且具有促动能力(例如，机电能力)以与其周围和环境交互的任何计算设备。机器人还可以是计算设备的组合。在一些示例中，机器人118可收集数据并且将数据上传到云102。云102可被配置为对该数据执行计算或分析并且将经处理的数据返回给机器人客户端118。在一些示例中，如图1所示，云102可包括与机器人客户端118不共位的计算机。在其他示例中，机器人客户端118可向第二客户端(例如，计算机112)发送数据以便处理。
客户端设备的任何一者可包括额外的组件。例如，机器人客户端118可包括一个或多个传感器，例如陀螺仪或加速度计来测量机器人客户端118的移动。其他传感器例如还可包括以下各项中的任何一者：全球定位系统(Global Positioning System，GPS)接收器、红外传感器、声纳、光学传感器、生物传感器、射频识别(Radio Frequency identification，RFID)系统、近场通信(Near Field Communication，NFC)芯片、无线传感器和/或罗盘，等等。
此外，客户端设备的任何一者可包括允许用户与设备交互的集成用户界面(user-interface，UI)。例如，机器人客户端118可包括允许用户提供输入的各种按钮和/或触摸屏界面。作为另一示例，机器人客户端设备118可包括被配置为从用户接收语音命令的麦克风。此外，机器人客户端118可包括允许各种类型的用户界面设备连接到机器人客户端118的一个或多个接口。
在图1中，客户端设备与云102之间的通信链路可包括有线连接，例如串行或并行总线。通信链路也可以是无线链路，例如链路120，其可包括蓝牙、IEEE 802.11(IEEE802.11可以指IEEE 802.11-2007、IEEE 802.11n-2009或者任何其他IEEE 802.11修订版)、或者其他基于无线的通信链路。
在其他示例中，系统100可包括接入点，客户端设备可通过这些接入点与云102通信。接入点可采取各种形式，例如接入点可采取无线接入点(wireless access point，WAP)或无线路由器的形式。作为另一示例，如果客户端设备利用诸如CDMA或GSM协议之类的蜂窝空中接口协议连接，则接入点可以是经由蜂窝网络提供互联网连通性的蜂窝网络中的基站。
这样，客户端设备可包括有线或无线网络接口，客户端设备可通过该接口连接到云102(或接入点)。作为示例，客户端设备可被配置为使用诸如802.11、802.16(WiMAX)、LTE、GSM、GPRS、CDMA、EV-DO和/或HSPDA等等之类的一个或多个协议。此外，客户端设备可被配置为使用多个有线和/或无线协议，例如使用蜂窝通信协议的“3G”或“4G”数据连通性(例如，CDMA、GSM或WiMAX，以及对于“WiFi”连通性使用802.11)。其他示例也是可能的。
图2A图示了示例客户端设备200。在一个示例中，客户端设备200被配置为机器人。在一些示例中，机器人可包含计算机硬件，例如处理器202、存储器或存储装置204以及传感器206。例如，机器人控制器(例如，处理器202、计算系统和传感器206)可全都是为特定机器人定制设计的。机器人可具有链路，通过该链路可访问云服务器(如图1所示)。有线链路例如可包括并行总线或串行总线，比如通用串行总线(Universal Serial Bus，USB)。无线链路例如可包括蓝牙、IEEE 802.11、蜂窝(比如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)或者Zigbee，等等。
在一个示例中，存储装置204可用于汇集来自机器人的各种传感器206的数据并且存储程序指令。处理器202可耦合到存储装置204并且可被配置为基于程序指令来控制机器人。处理器202也可能够解读来自机器人上的各种传感器206的数据。示例传感器可包括烟雾传感器、光传感器、无线电传感器、红外传感器、麦克风、扬声器、陀螺仪、加速度计、相机、雷达、电容传感器和触摸传感器，等等。
客户端设备200还可具有允许客户端设备200与其环境交互的组件或设备。例如，客户端设备200可具有机械促动器208，例如马达、轮子、活动臂等等，其使得客户端设备200能够移动或与环境交互。
在一些示例中，客户端设备200上的各种传感器和设备可以是模块。取决于要求，可添加或从客户端设备200移除不同的模块。例如，在低电力情形中，机器人可具有更少的模块以减少电力使用。然而，根据需要可添加额外的传感器。例如，为了增大机器人可能够收集的数据量，可添加额外的传感器。
在一些示例中，客户端设备200可被配置为接收包括处理器202、存储装置204和传感器206的设备，例如设备210。例如，客户端设备200可以是具有数个机械促动器(例如，活动基座)的机器人，并且机器人可被配置为接收移动电话、智能电话、平板计算机等等来充当机器人的“大脑”或控制组件。设备210可被认为是机器人的一个模块。设备210可物理地附接到机器人。例如，智能电话可坐落于机器人的“胸”上并且形成交互式显示器。设备210例如可向机器人提供传感器、无线链路和处理能力。设备210可允许用户为他或她的机器人从云下载新的例程。例如，一种衣服折叠例程可被存储在云上，并且用户可能够利用智能电话选择此例程来从云下载该例程，并且当智能电话被放置到机器人中或耦合到机器人时，机器人将能够执行下载的动作。
在一些示例中，客户端设备200可耦合到移动或蜂窝电话来提供额外的传感能力。蜂窝电话可不物理附接到机器人，而是可无线地耦合到机器人。例如，低成本机器人可省略与互联网的直接连接。此机器人可能够经由无线技术(例如蓝牙)连接到用户的蜂窝电话以能够访问互联网。机器人可能够访问蜂窝电话的各种传感器和通信部件(means)。机器人可不需要机器人上物理地提供的那么多的传感器，然而机器人可能够保持相同或相似的功能。
从而，客户端设备200可包括机械机器人特征，并且可被配置为接收设备210(例如，移动电话、智能电话、平板计算机等等)，设备210可向设备200提供额外的外围组件，例如设备210内包括的加速度计、陀螺仪、罗盘、GPS、相机、WiFi连接、触摸屏等等中的任何一者。
图2B图示了机器人212的图形示例。在图2B中，机器人212被示为包括手臂、腿和头的人的机械形式。机器人212可被配置为接收任何数目的可被配置为操作机器人的模块或组件，例如移动电话。在此示例中，设备(例如，机器人212)可被附接到移动电话(例如，设备210)来向机械机器人212提供使得机器人212能够与云通信来引起机器人212的操作/功能的功能。其他类型的具有到互联网的连通性的设备可耦合到机器人212来在机器人212上提供额外的功能。从而，设备210可与机器人212分离并且可被附接或耦合到机器人212。
在一个示例中，机器人212可以是只具有有限的机械功能的玩具，并且通过将设备210连接到机器人212，玩具机器人212现在可能够在设备210和/或云的辅助下执行数个功能。以这种方式，机器人212(或机器人的组件)可被附接到移动电话来将移动电话变换成连接到服务器的机器人(例如，具有腿/臂)以引起机器人的操作/功能。
可安装设备210还可被配置为最大化机器人212的运行时使用(例如，如果机器人212可获知发生了什么使得用户关闭玩具或放下玩具，则设备210可被配置为执行功能来抵消这种事件)。
图2C图示了机器人214的另一示例。机器人214包括计算设备216、传感器218和机械促动器220。在此示例中，计算设备216可以是膝上型计算机，其可耦合到传感器218。传感器218可包括相机、红外投影仪和其他运动传感和视觉传感元件。机械促动器220例如可包括基座、轮子和马达，计算设备216和传感器218可定位在其上。
图2A-2C中所示的机器人的任何一者可被配置为根据机器人操作系统(例如，为机器人的特定功能设计的操作系统)操作。机器人操作系统可提供库和工具(例如，硬件抽象、设备驱动器、视觉化器、消息传递、包裹管理等等)来使能机器人应用。机器人操作系统的示例包括诸如ROS(robot operating system，机器人操作系统)、DROS或ARCOS(advancedrobotics control operating system，高级机器人控制操作系统)之类的开源软件；诸如来自Evolution 的机器人开发平台ESRP和MRDS( RoboticsDeveloper Studio，微软机器人开发者工作室)之类的专有软件，并且其他示例也可包括ROSJAVA。机器人操作系统可包括发布和预订功能，并且也可包括控制机器人的组件的功能，例如头部跟踪、基座移动(例如，速度控制、导航框架)等等。
图3图示了概念性的机器人-云交互的示例。机器人——例如在图2A-2C中描述和图示的机器人——可连接到计算机的网络(例如，云)，并且可请求数据或处理被云执行。在一个示例中，机器人可包括数个传感器和机械促动器，它们大体上可为机器人提供马达控制。传感器的输出，例如相机馈送、视觉传感器等等，可被提供到云，云可处理这些输出来使得机器人能够执行功能。例如，云可处理相机馈送，以确定机器人的位置，执行物体识别，或者为机器人指示导航路径。
图3概括图示了马达控制器，其中每个模块可概念性地表示利用马达控制器输入或来自机器人的数据执行处理的云上的计算机或节点。图3还概括图示了传感器，其中每个模块可概念性地表示利用传感器输入或来自机器人的数据执行处理的云上的计算机或节点。图3还概括图示了应用，其中每个模块可概念性地表示执行数个应用的特定功能的云上的计算机或节点，所述数个应用例如是导航应用、地图绘制应用等等。此外，图3还概括图示了计划编制(planning)，其中每个模块可概念性地表示为机器人执行处理的云上的计算机或节点，所述处理例如是一般计划编制或计算处理。
如图所示，模块中的任何一者可互连，和/或可通信来从彼此接收数据或指令，以为机器人提供特定输出或功能。
在一个示例中，机器人可将数据发送到云以便数据处理，而在另一示例中机器人可从云接收数据。从云接收的数据可采取许多不同的形式。接收到的数据可以是机器人发送到云的数据的经处理形式。接收到的数据也可来自不是机器人的源。例如，云可具有对其他传感器、其他机器人和互联网的访问权。
在本文描述的示例中，机器人可与云交互来执行任何数目的动作，例如与其他云计算设备共享信息。在示例内，机器人可与云交互来促进物体识别，执行地图绘制功能，或者执行导航功能(即，接收另一机器人先前走过的地图/导航路径)。在其他示例中，机器人可与云交互来执行区域中的物体的地图绘制，执行物体的清点，以及由机器人执行语音识别和/或执行机器人的语音识别控制。机器人可基于情境或情形信息如本文所述向云执行任何动作或查询。
在一些示例中，一些实施例并不要求机器人的知识库存储在机器人本机上，而是使得机器人能够在外部位置存储和访问数据，例如在服务器和/或其他计算设备上。外部位置可从一个或多个机器人接收数据和/或请求。服务器可存储从一个或多个机器人接收到的数据和/或将存储的数据的全部或一部分分发到一个或多个机器人以在机器人之间创建共同知识库，在该知识库中机器人可获得指令和/或数据。
在一些实施例中，机器人可具有与物体和/或机器人在其中操作的区域有关的信息。该区域可与地图、位置等等相关联。机器人可将与区域有关的信息发送到服务器，服务器可包括物体识别系统来识别与来自机器人的信息相关联的物体。
机器人和/或服务器可使用情境分析来确定和识别物体。例如，如果机器人在办公室中，则机器人可访问物体的“办公室”数据库来执行识别。作为另一示例，机器人可带着情形感知(situational awareness)操作，以使得机器人可清点场景中的物体，并且如果被用户给出命令，则机器人可基于场景的情形或者通过与场景中的物体相比较来确定命令的内容或解读命令的含义。例如，机器人可接收从冰箱取回苏打水的命令。机器人可将该命令作为输入发送到服务器或者例如可以可选地使用机器人的该区域的数据库来识别冰箱和苏打水。可选地，机器人可将该命令发送到服务器，服务器可识别冰箱和苏打水。在实施例中，机器人和/或服务器可使用情境(contextual)数据以及情形(situational)数据来识别物体。另外，一旦识别了物体，服务器例如就可确定与该命令相关联的交互并且识别机器人可执行来执行该交互的一个或多个计算机可执行指令。
图4是其中机器人可与云交互并且与其他云计算设备共享信息的示例系统400。系统400例示了各自耦合到云410的机器人402、404、406和408(例如，示为概念性图形表示)。每个机器人402、404、406和408可与云410交互，并且还可通过云410与彼此交互，或者通过其他接入点与彼此交互，以及可能直接与彼此交互(例如，如机器人406和408之间所示)。
云410可从若干个机器人接收输入。来自每个机器人的数据可被汇集成更大的数据集合。例如，机器人402可拍摄物体的照片并且将该照片上传到云410。云410上的物体识别程序可被配置为识别照片中的物体并且向连接到云410的所有机器人提供关于识别出的物体的数据，以及可能提供关于识别出的物体的诸如位置、大小、重量、颜色等等之类的其他特性(例如，元数据)的数据。从而，每个机器人可能够知道由机器人402上传的照片中的物体的属性。
机器人402、404、406和408可在区域内、与人、与其他机器人等等执行任何数目的动作。在一个示例中，每个机器人402、404、406和408具有WiFi或另一基于网络的连通性并且将向云410上传/发布数据，该数据随后可与任何其他机器人共享。以这种方式，每个机器人402、404、406和408与彼此共享经历来使能学习到的行为。例如，机器人402可走过一条道路并且遭遇障碍物，并且可将该障碍物的位置告知其他机器人404、406和408(通过云410)。每个机器人402、404、406和408将具有对实时最新数据的访问权。在另一示例中，机器人404可下载指示出由其他机器人402、406和408看到的图像的数据来帮助机器人404利用各种视图识别物体(例如，在机器人402、406和408从不同视角捕捉了物体的图像的情况下)。
在另外一个示例中，机器人408可构建区域的地图，并且机器人402可下载该地图以拥有关于该区域的知识。类似地，机器人402可利用关于该区域的新信息(例如，走廊现在有箱子或者其他障碍物)或者利用从机器人408可能不具有的传感器收集的新信息(例如，如果机器人408不具有温度传感器，则机器人402可记录并添加温度数据到地图)，来更新由机器人408创建的地图。整体上，机器人402、404、406和408可被配置为共享被收集来使能更快速适应的数据，以使得每个机器人402、404、406和408可建立在先前机器人的学习到的经验上。
共享和适应能力基于从机器人402、404、406和408接收的各种输入/数据使能了各种应用。在一具体示例中，可提供物理位置的地图绘制，例如提供关于机器人去过哪里的历史的数据。另外数目或类型的指示物可被记录来促进机器人402、404、406和408的地图绘制/导航功能(例如，墙壁上的磨损标记可以是机器人可记录并在以后依赖来为自身确定方向的许多线索之一)。
在一个示例中，云410可包括、存储或提供对与物体有关的信息的数据库412的访问，并且数据库412可被所有机器人402、404、406和408访问。数据库412可包括识别物体的信息，以及物体的细节(例如，质量、属性、形状、使用指令等等，可与物体相关联的任何细节)，这些细节可被机器人402、404、406和408访问来执行物体识别。作为示例，关于物体的使用的信息例如对于电话可包括如何拾起听筒，如何应答电话，按钮的位置，如何拨号，等等。
此外，数据库412可包括可用于区分物体的关于物体的信息。例如，数据库412可包括关于物体的一般信息(例如，计算机)，并且可额外地包括关于特定计算机的信息(例如，型号、特定型号的细节或技术规格，等等)。每个物体可在数据库412中包括信息，包括物体名称、物体细节、物体区分特性等等，或者可访问的用于物体的元组空间。每个物体在数据库中例如还可以有序列表的形式包括信息。在另外的示例中，数据库412可包括用于在数据库412中标识的物体的全局唯一标识符(global unique identifier，GUID)(以例如在具体物体之间进行区分)，并且GUID可与描述物体的任何特性或信息相关联。从而，机器人可被配置为访问数据库412以接收大体区分物体的信息(例如，棒球与计算机)，并且接收可在具体物体之间进行区分的信息(例如，两个不同计算机)。
数据库412可以是所有机器人通过云410可访问的(或者是所有机器人可直接访问的，无需通过云410的通信)。数据库412从而可以是存储在云410中的共享知识库。
从而，在一些示例中，机器人可通过云410来共享学习到的行为。云410可具有服务器，该服务器存储机器人学到的活动或行为，从而产生用于物体交互的行为和试探的共享知识库(例如，机器人“应用商店”)。具体而言，给定的机器人可执行动作并且构建区域的地图，然后该机器人可将数据上传到云410以与所有其他机器人共享此知识。在此示例中，给定机器人的“意识(consciousness)”的传输可通过云410从一个机器人向另一机器人进行(例如，机器人“鲍勃”构建地图，并且“鲍勃”的知识可被下载到另一机器人上以接收该地图的知识)。
从而，在示例内，机器人402、404、406和408可通过云410共享信息，并且可访问数据库412。
III.示例机器人-云和机器人-设备交互
基于云的服务，例如云服务104，可被配置为进行大规模仿真并且发送指令到机器人系统以便执行各种任务。可利用关于机器人系统的能力的信息、传感器数据和数据库中的与特定任务有关的信息在各种各样的可能输入(例如，强力搜索(brute-force search))上仿真任务。一般而言，机器人系统可被预配置为执行特定任务。然而，使用基于云的服务可允许机器人系统学习如何执行新任务并且发现新的策略和方法来与环境交互。其他示例也是可能的。
图5是根据本文描述的至少一些实施例的用于提供增强现实界面来显示机器人设备动作的虚拟表示的示例方法的框图。方法500可包括如方框502-510中的一个或多个所示的一个或多个操作、功能或动作。虽然这些方框是按顺序示出的，但这些方框在一些情况中也可被并行执行，和/或按与本文描述不同的顺序执行。另外，基于期望的实现方式，各种方框可被组合成更少的方框，划分成额外的方框，和/或被去除。
此外，对于方法500和本文公开的其他过程和方法，流程图示出了当前实施例的一种可能的实现方式的功能和操作。就此，每个方框可表示程序代码的模块、片段或部分，程序代码包括可由处理器执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可被存储在任何类型的计算机可读介质上，例如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机访问存储器(Random Access Memory，RAM)那样短时间存储数据的计算机可读介质。计算机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如只读存储器(read onlymemory，ROM)、光盘或磁盘、致密盘只读存储器(compact-disc read only memory，CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可读存储介质、有形存储设备或者其他制品。
此外，对于方法500和本文公开的其他过程和方法，图5中的每个方框可表示被布线来执行该过程中的特定逻辑功能的电路。
例示方法，例如方法500，可全部或部分由云和/或机器人系统中的一个或多个组件执行，例如由图1所示的系统100的组件中的一个或多个执行，由图2A所示的客户端设备200的组件中的一个或多个执行，由图2B所示的机器人212的组件中的一个或多个执行，由图2C所示的机器人214的组件中的一个或多个执行，由图3所示的概念性机器人-云交互的一个或多个组件执行，以及由图4所示的系统400的组件中的一个或多个执行。然而，应当理解，示例方法，例如方法500，可由其他实体或实体的组合执行(即，由其他计算设备和/或计算设备的组合执行)，而不脱离本发明的范围。
例如，方法500的功能可完全由计算设备(或者计算设备的组件，例如一个或多个处理器)执行，或者可分布在计算设备的多个组件上、分布在多个计算设备上和/或分布在服务器上。在一些示例中，计算设备可从计算设备的传感器接收信息，或者在计算设备是服务器的情况下，可从收集信息的另一设备接收信息。作为其他示例，方法500可由计算设备、由服务器或者由机器人设备执行。
如方框502所示，方法500包括接收指示出机器人设备执行任务的动作或意图的信息。动作或意图可包括机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一个或多个。在其他示例中，方法500可以可选地包括基于动作或意图确定机器人设备为了执行任务的至少一部分的计划轨迹和确定机器人设备为了执行任务的至少一部分而要操作的物体。
该信息可由计算设备从被编程或被请求执行任务的机器人设备接收。在其他示例中，该信息可由与机器人设备或者与控制机器人设备的计算设备通信的服务器接收。此外，该信息可被认为由机器人设备的处理器从控制机器人设备的计算设备接收。
如方框504所示，方法500还包括提供动作或意图的虚拟表示来供计算设备在增强现实界面上显示。虚拟表示在增强现实界面上包括机器人设备的计划轨迹的至少一部分或者突出要被机器人设备操作的物体作为注释。在示例内，取代由机器人设备提供音频反馈或者除了由机器人设备提供音频反馈之外，可利用增强现实提供用户友好的反馈。
该信息可由机器人设备提供到计算设备，由与机器人设备通信(例如为了对机器人设备编程)的服务器提供到计算设备，或者由向机器人设备提供控制信息的其他设备提供。该信息也可被认为由一个或多个处理器提供来供计算设备显示，并且该一个或多个处理器可以是计算设备的组件、机器人设备的组件或者另外一个计算设备(例如服务器)的组件。
注释可包括在增强现实界面上提供的图形，其使得能够传达机器人设备的意图来为用户提供反馈。该信息可在机器人设备发起任务的执行之前被接收到。例如，该信息可在机器人设备执行任务之前和期间提供来使得能够显示机器人设备未来为了执行任务而计划走过的计划轨迹。机器人设备例如可详细传达对于提供迅速反馈和给用户时间确认这是要执行的期望行为有用的未来运动和意图。
图6图示了机器人设备602的示例环境600，以及机器人设备602的计划动作的示例虚拟表示。在环境600内，机器人设备602正朝着包括水罐的工作台面移动。机器人设备602可能已被指令拾起水罐并将其移动到另一位置。图6还图示了计算设备604，其被示为具有三个不同的示例虚拟表示606、610和614。
在一个示例中，计算设备604可从机器人设备602接收指示出机器人设备602的计划动作的信息，并且计算设备604可被编程为显示环境600的表示，其中带有虚拟表示606，虚拟表示606包括一组虚拟足迹608来表示机器人设备朝着工作台面沿着计划轨迹的一部分的未来移动。
在另一示例中，计算设备604可从机器人设备602接收指示出机器人设备602的计划动作的信息，并且计算设备604可被编程为显示环境600的表示，其中带有虚拟表示610，虚拟表示610包括地板上的线条或箭头612，其覆盖机器人设备的计划轨迹的该部分。
在另外一个示例中，计算设备604可从机器人设备602接收指示出机器人设备602的计划动作的信息，并且计算设备604可被编程为显示环境600的表示，其中带有虚拟表示614，虚拟表示614在物体上机器人设备计划操作物体的地方包括指示616。这例如可包括突出水罐的把手。
在另外一个示例中，计算设备604可从机器人设备602接收指示出机器人设备602的计划动作的信息，并且计算设备可被编程为显示环境600的表示，其中带有另一虚拟表示，该虚拟表示包括对于空间的整个体积或者机器人设备602意图占据或移动经过的区域的扫过体积的指示。显示的虚拟表示可包括虚拟物体，这些虚拟物体被遮挡以指示出机器人设备602很快将要到的地方，以使得用户可以看到机器人设备602已在何处预留了体积以免挡路。
从而，随着机器人设备在物理世界中移动，可提供反馈来覆盖在计算设备604的显示上以利用指示出导航意图的信息(例如，语义信息)、一组未来脚步或者对于轮式机器人指示出地板上的计划滚过的条带等等来数字地注释该显示。
在示例内，计算设备位于机器人设备的远程，并且虚拟表示可被提供来显示成覆盖到计算设备的视野上。计算设备的视野可包括视野内的物体或环境，并且由于视野包括覆盖计划轨迹的至少一部分或者机器人设备要操作的某个物品的区域，所以虚拟表示可被覆盖到视野上。从而，在一示例中，计算设备可包括被用户携带的移动电话，并且随着用户移动到与机器人设备的计划轨迹的一部分重叠的区域中，例如图6中所示的工作台面，移动电话可将计划轨迹显示为覆盖移动电话的视野的增强现实界面上的虚拟表示。视野可由移动电话的实况视频馈送提供。
返回参考图5，在其他示例中，如方框506所示，方法500可以可选地包括接收机器人设备存在于其中的环境(包括环境中的机器人设备)的表示来由计算设备显示在增强现实界面上。如方框508所示，方法500可以可选地包括提供被覆盖到机器人设备所存在的环境的表示上的虚拟表示。如方框510所示，方法500可以可选地包括使增强现实界面上的虚拟表示动画化以图示机器人设备根据计划轨迹执行任务。在此示例中，计算设备的视野是不相关的，因为提供了机器人设备在其中操作的环境的显示，并且虚拟表示被覆盖到该显示上。从而，具有计算设备的用户可从位于远离机器人设备的任何位置的计算设备上视觉化机器人设备的意图。此示例在图6中图示，其中环境600的表示被提供到计算设备604，并且虚拟表示(例如，图示足迹608、箭头612和突出616的虚拟表示)被提供来覆盖环境600。
在另一示例中，方法500可包括接收来自机器人设备的视野的相机馈送，并且提供被覆盖到来自机器人设备的视野的相机馈送上的虚拟表示。在此示例中，计算设备可提供显示来图示出机器人设备如何看到环境的地图以将机器人设备的意图共享给用户。
图7图示了机器人设备702的另一示例环境700，以及机器人设备702的计划动作的示例虚拟表示。在环境700内，机器人设备702正朝着包括水罐的工作台面移动。机器人设备702可能已被指令拾起水罐并将其移动到另一位置。图7还图示了计算设备704，其被示为具有从机器人设备702的视野看到的示例虚拟表示706。计算设备704可接收来自机器人设备702的相机馈送，并且未来动作或意图的注释被覆盖到相机馈送上，例如在这里，水罐的把手被突出708以指示出机器人设备702意图通过把手拾起水罐。以这种方式，来自机器人设备702的视野的场景可被提供到计算设备704以进行显示同时注释被覆盖在其上。
在另一示例中，计算设备可包括可头戴设备(HMD)，并且虚拟表示可被覆盖到HMD的穿戴者视野上。在示例内，HMD可将虚拟表示覆盖到穿戴者视野上并且由于穿戴者视野包括机器人设备的未来导航路径的一部分，所以虚拟足迹可被提供来表示机器人的未来行走步伐。
图8A-8B图示了被穿戴者穿戴的示例可头戴设备(HMD)。图8A图示了HMD 802被穿戴者804穿戴。在图示的示例中，HMD 802的显示器806可被布置成使得当HMD 802被穿戴时，显示器806被定位在用户的眼睛前方或用户的眼睛附近。例如，显示器806可被定位在中央框架支撑下方并且在穿戴者的眼睛的中心上方，如图8A所示。另外，在图示的配置中，显示器806可偏离穿戴者的眼睛的中心(例如，使得从穿戴者的视角来看，显示器806的中心被定位在穿戴者的眼睛的中心的右上方)。
在如图8A-8B所示那样配置的情况下，当HMD 802被穿戴时，显示器806可位于穿戴者804的视野的周边。从而，如图8A所示，当穿戴者804向前看时，穿戴者804可以用其周边视觉看到显示器806。结果，显示器806在穿戴者的眼睛朝着前方时可以在穿戴者的视野的中央部分之外，这对于许多日常活动来说是常见的，如图8A和穿戴者的视线中所示。这种定位除了一般在穿戴者的视野的中央部分内提供对世界的无障碍观看和感知以外，还可促进与他人的无障碍的眼对眼交谈。
另外，当显示器806如图所示那样定位时，穿戴者804可通过例如仅用其眼睛向上看(可能无需移动其头部)来观看显示器806。这在图8B中图示，其中穿戴者804移动了其眼睛来向上看并且使其视线与显示器806对齐。穿戴者也可通过使其头部向下倾斜并且使其眼睛与显示器806对齐来使用显示器806。例如，当视线与显示器806对齐时，穿戴者804可观看被覆盖到HMD802的穿戴者视野上的虚拟表示。覆盖的虚拟表示可包括图6或图7所示的虚拟表示的任何一者。
返回参考图5，在另外的示例中，方法500可包括确定邻近计算设备的一个或多个机器人设备，并且向邻近计算设备的一个或多个机器人设备请求指示出该一个或多个机器人设备的动作或意图的信息。随后，方法500包括提供虚拟表示来供计算设备在增强现实界面上显示，所述提供虚拟表示包括提供按照一个或多个机器人设备的一个或多个虚拟表示来供显示，该一个或多个虚拟表示分别指示出这些动作或意图。在此示例中，用户可选择要监视哪些机器人设备，或者可请求监视附近的、非常邻近的或者在某个阈值距离内的任何和所有机器人设备，以了解所有机器人设备的未来动作。
作为监视机器人设备的具体示例，用户可在一制造设施内，在该制造设施中许多机器人设备在操作。用户可能想要指示出任何和所有附近机器人设备的计划移动和动作的信息，并且可向附近设备请求这种信息。用户的计算设备可接收该信息并且显示被覆盖到制造设施的场景上的所有附近机器人设备的未来动作的虚拟表示来供用户观看。
图9是根据本文描述的至少一些实施例的用于提供增强现实界面来显示机器人设备动作的虚拟表示的另一示例方法的框图。
如方框902所示，方法900包括接收指示出机器人设备执行任务的动作或意图的信息。如方框904所示，方法900还包括提供动作或意图的虚拟表示来供计算设备在增强现实界面上显示。
如方框906所示，方法900还包括向机器人设备提供信息来修改机器人设备的动作或意图。该信息可包括计算设备的加速度计的基于计算设备的运动的输出。作为示例，在看到机器人设备的计划意图之后，用户可能希望修改这种意图。计算设备可包括惯性测量单元(IMU)、加速度计或者其他传感器来提供计算设备的运动的输出。计算设备随后可被利用来接收运动命令并且提供运动的输出，例如指示出计算设备在一区域中从第一点移动到第二点(或者从左移动到右)的运动的输出。该输出可被提供到机器人设备以使得机器人设备根据该运动来移动，即从第一点移动到第二点。
在其他示例中，该信息例如可作为消息从计算设备提供到机器人设备作为新命令。
如方框908所示，方法900还包括作为响应，从机器人设备接收经更新的机器人设备的计划轨迹和经更新的机器人设备要操作的物体中的一个或多个。在此示例中，机器人设备可接收该信息并且修改计划轨迹以在计算设备的运动所指示的两个点之间移动。
在其他示例中，该信息可由第二计算设备提供来修改机器人设备的动作或意图，并且作为响应，机器人设备可向该计算设备提供经更新的机器人设备的计划轨迹和经更新的机器人设备要操作的物体中的一个或多个。作为示例，方法900可包括由向机器人设备注册了的设备沿着一条路径提供光的投射来修改机器人设备的动作或意图，并且作为响应从机器人设备接收经更新的机器人设备的计划轨迹和经更新的机器人设备要操作的物体中的一个或多个。
图10图示了机器人设备1002的另一示例环境1000，以及机器人设备1002的计划动作的示例虚拟表示。在图10中，机器人设备1002可被指令去到工作台面并且拾起水罐，并且机器人设备1002可确定拾起水罐1004而不是水罐1006。机器人设备1002可向计算设备1008提供计划轨迹的信息，计算设备1008提供虚拟表示1010，虚拟表示1010上覆盖有注释，注释包括指示出机器人设备1002意图朝着水罐1004移动的箭头1012。
在用户希望机器人设备1002拾起水罐100的示例中，用户或计算设备1008可向机器人设备1002提供信息来修改机器人设备1002的动作或意图。在特定示例内，如图10所示，可使用棒状设备1014，该棒状设备1014包括IMU来跟踪用户指向之处或设备指向之处的手势/位置，并且因为计算设备提供机器人设备的未来移动的图示，所以用户可能够采取行为来在移动开始之前修改该移动。在此情况中，当用户希望命令机器人设备1002去到水罐1006时，棒状设备1014可被指向某一位置并且按钮可被按压以提供命令来让机器人设备1002行进到指定的区域。额外地或替换地，棒状设备1014可将光投射到水罐1006上，这可被机器人设备1002看到并被解读为对于行进到水罐1006的请求。机器人设备1002随后可计算从其当前位置到指定区域的路径并且向设备1008提供新的未来脚步的经更新的计划轨迹。随后可显示经更新的虚拟表示1016，其上覆盖有经修改的注释，其中包括指示出机器人设备1002的经更新的计划动作的箭头1018。
作为另一示例，在机器人设备被指令了从厨房取回水罐的情况中，机器人设备可基于对需求(例如，大小、类型、材料)的评估来识别许多水罐之一并且在提供给计算设备的虚拟表示内突出被相信最适合于这些需求的水罐。用户随后可看到选中的水罐并且例如利用计算设备1008或者棒状设备1014修改/确认该命令。在一些示例中，计算设备1008可被作为棒状设备1014来操作。
图11是根据本文描述的至少一些实施例的用于提供增强现实界面来显示机器人设备动作的虚拟表示的另一示例方法的框图。
如方框1102所示，方法1100包括接收指示出机器人设备执行任务的动作或意图的信息。如方框1104所示，方法1100还包括基于该动作或意图，确定机器人设备为了执行任务的至少一部分的计划轨迹和机器人设备为了执行任务的至少一部分而要操作的物体中的一个或多个。例如，在方法1100被机器人设备执行的情况中，可接收执行任务的命令，并且机器人设备随后可确定为了执行该任务而要采取的动作。在机器人设备向计算设备提供意图的信息的情况中，计算设备可确定估计的机器人设备的计划轨迹。对于动作由计算设备执行、由机器人设备执行或者分布在两者之间来确定机器人设备的计划轨迹或计划动作，其他组合也是可能的。
如方框1106所示，方法1100还包括确定邻近机器人设备的一个或多个计算设备。作为示例，机器人设备可通过多种方式确定邻近其自身的计算设备，例如通过使用广播消息并接收来自附近设备的确认，通过使用蓝牙通告封包来与附近设备通信，或者通过使用到附近设备的信标或蓝牙低能耗通信。用于确定在机器人设备的阈值距离内的设备的存在的其他方法也是可能的。在一些示例中，服务器可与机器人设备通信来提供关于机器人设备附近的计算设备的位置的信息。
在其他示例中，方法1100可由服务器或其他计算设备执行，并且可确定机器人设备的位置和可能在附近(例如，在机器人设备的阈值距离内)的计算设备的位置。
如方框1108所示，方法1100还包括提供动作或意图的虚拟表示来供一个或多个计算设备在增强现实界面上显示，并且该虚拟表示在增强现实界面上包括机器人设备的计划轨迹的至少一部分作为注释或者突出机器人设备要操作的物体。
在此示例中，随着机器人设备移动，附近的计算设备可具有与机器人设备的状态同步的增强现实界面以便显示机器人设备的未来/计划的轨迹或动作。在一些情况中，机器人设备可向邻近机器人设备的计算设备广播指示出机器人设备的动作或意图的信息，以便始终提供该信息。
在其他情况中，机器人设备可额外地将虚拟表示的至少一部分投影到机器人设备的环境上。投影设备也可增强现实物理世界(例如，机器人具有投影仪来突出其将会拾起什么)来提供额外的信息。
图12是根据本文描述的至少一些实施例的用于提供机器人设备动作的虚拟表示的增强现实显示的另一示例方法的框图。如方框1202所示，方法1200包括接收指示出机器人设备在物理环境中执行任务的动作或意图的信息，并且该动作或意图包括机器人设备为了执行该任务的至少一部分的计划轨迹和机器人设备为了执行该任务的至少一部分而要操作的物体中的一个或多个。
如方框1204所示，方法1200包括由设备向物理环境中提供动作或意图的虚拟表示，并且该虚拟表示包括机器人设备的计划轨迹的至少一部分的指示或者突出机器人设备要操作的物体。在此示例中，物理环境被增强来指示机器人设备的动作或意图。
在一个示例中，设备包括投影仪，并且方法包括投影仪投影被覆盖到物理环境上的动作或意图的虚拟表示。在另外的示例内，设备可包括相机，或者其他光学设备或光源将光投射到环境中的表面或物理物体上。例如，机器人设备可将单束光投射到机器人设备被指令拾起的箱子上，从而向人类或其他机器人设备指示出该机器人设备计划朝着该箱子移动并拾起它。光可在接收到指令之后的某个时间点被投射并且可被投射预定的一段时间。
在一些示例中，在机器人设备上包括投影仪，从而机器人设备在任务执行之前或期间投影被覆盖到物理环境上的动作或意图的虚拟表示。在其他示例中，投影仪或设备位于机器人设备的远程，并且该设备提供被覆盖到物理环境的表面上的动作或意图的虚拟表示。设备可从服务器或从机器人设备接收指示动作或意图并且指示投影虚拟表示的指令。
如在其他示例内所描述，虚拟表示可包括一组虚拟足迹来表示机器人设备沿着计划轨迹的一部分的未来移动、覆盖机器人设备的计划轨迹的一部分的地板上的线条、或者物体上的机器人设备计划操作该物体之处的指示。
在其他示例中，除了虚拟表示以外，音频通告也可由机器人设备上(或邻近机器人设备)的扬声器提供和输出来通告机器人设备计划的动作或意图。
如方框1206所示，方法1200可以可选地包括投影仪将光投射到机器人设备要操作的物体上。
图13图示了机器人设备1302的另一示例环境1300，以及机器人设备的计划动作的示例虚拟表示。在图13中，机器人设备1302可被指令去到工作台面并且拾起水罐，并且机器人设备1302可确定拾起水罐1304。机器人设备1302可包括投影仪1306来将光投射到水罐1304上。投影仪1306也可将计划轨迹或路径投影到地板上。或者，如图13所示，在环境中可提供另一投影仪1308，并且该投影仪1308可接收关于机器人设备1302的动作或意图的信息，然后投影被覆盖到地板上的轨迹的虚拟表示(例如，包括指示出机器人设备1302意图朝着水罐1304移动的箭头)。
或者，在另外一个示例中，投影仪1306可将光投射到覆盖空间的整个体积或者机器人设备1302意图占据或移动经过的区域的扫过体积的环境中。
IV.结论
本公开不限于本申请中描述的特定实施例，这些实施例意图作为各种方面的例示。在不脱离其范围的情况下可做出许多修改和变化，这是本领域技术人员将会清楚的。除了本文列举的那些以外，本领域技术人员通过以上描述将会清楚在本公开的范围内的功能上等同的方法和装置。这种修改和变化意图被包括在所附权利要求的范围内。
以上详细描述参考附图对公开的系统、设备和方法的各种特征和功能进行了描述。在附图中，相似的符号通常标识相似的组件，除非上下文另有指示。本文和附图中描述的示例实施例不欲进行限定。可以利用其他实施例，并且可以作出其他改变，而不脱离本文给出的主题的范围。容易理解，本文概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都明确地设想到了。
附图中所示的特定布置不应当被视为限制性的。应当理解，其他实施例可包括更多或更少的给定附图中所示的每种元素。另外，一些图示的元素可被组合或省略。此外，示例实施例可包括附图中没有图示的元素。
虽然本文已公开了各种方面和实施例，但本领域技术人员将会清楚其他方面和实施例。本文公开的各种方面和实施例是为了例示，而并不意图进行限定，范围由所附权利要求指示。

Claims (28)

1.一种由计算机实现的方法，包括：
接收指示出机器人设备执行任务的动作或意图的信息，其中所述动作或意图包括所述机器人设备为了执行所述任务的至少一部分的计划轨迹和所述机器人设备为了执行所述任务的至少一部分而要操作的物体中的一者或多者；并且
提供所述动作或意图的虚拟表示来由计算设备在增强现实界面上显示，其中所述虚拟表示包括所述机器人设备的计划轨迹的至少一部分或者突出所述机器人设备要操作的物体作为所述增强现实界面上的注释。
2.如权利要求1所述的方法，其中，所述计算设备位于所述机器人设备的远程，并且其中，提供来显示包括提供被覆盖到所述计算设备的视野上的所述动作或意图的虚拟表示。
3.如权利要求1所述的方法，其中，所述计算设备位于所述机器人设备的远程，并且其中，提供来显示包括提供被覆盖到所述计算设备的实况视频馈送上的所述虚拟表示。
4.如权利要求1所述的方法，还包括：
接收来自所述机器人设备的视野的相机馈送；并且
其中，提供来显示包括提供被覆盖到来自所述机器人设备的视野的相机馈送上的所述虚拟表示。
5.如权利要求1所述的方法，还包括：
接收所述机器人设备所存在于的环境的表示来由所述计算设备显示在所述增强现实界面上，所述环境包括所述环境中的所述机器人设备；并且
其中，提供来显示包括提供被覆盖到所述机器人设备所存在于的环境的表示上的所述虚拟表示。
6.如权利要求5所述的方法，还包括：
使所述增强现实界面上的虚拟表示动画化以图示所述机器人设备根据所述计划轨迹执行所述任务。
7.如权利要求1所述的方法，其中，所述计算设备包括可头戴设备(HMD)，并且其中，提供来显示包括提供被覆盖到所述HMD的穿戴者视野上的所述虚拟表示。
8.如权利要求1所述的方法，其中，所述虚拟表示包括一组虚拟足迹来表示所述机器人设备沿着所述计划轨迹的所述一部分的未来移动。
9.如权利要求1所述的方法，其中，所述虚拟表示包括地板上的覆盖所述机器人设备的计划轨迹的所述一部分的线条。
10.如权利要求1所述的方法，其中，所述虚拟表示在所述物体上所述机器人设备计划操作所述物体之处包括指示。
11.如权利要求1所述的方法，其中，接收指示出所述机器人设备执行所述任务的动作或意图的信息包括在所述机器人设备发起所述任务的执行之前接收所述信息。
12.如权利要求1所述的方法，还包括：
确定邻近所述计算设备的一个或多个机器人设备；
向邻近所述计算设备的一个或多个机器人设备请求指示出所述一个或多个机器人设备的动作或意图的信息；并且
其中，提供所述虚拟表示来由所述计算设备在所述增强现实界面上显示包括按照所述一个或多个机器人设备提供分别指示出所述动作或意图的一个或多个虚拟表示来供显示。
13.如权利要求1所述的方法，还包括：
确定邻近所述机器人设备的多个计算设备，其中所述计算设备是所述多个计算设备之一；并且
提供所述动作或意图的虚拟表示来由所述多个计算设备显示。
14.如权利要求13所述的方法，其中，所述方法由所述机器人设备执行，并且所述方法还包括所述机器人设备向邻近所述机器人设备的所述多个计算设备广播指示出所述机器人设备的动作或意图的信息。
15.如权利要求13所述的方法，其中，所述方法由所述机器人设备执行，并且所述方法还包括所述机器人设备将所述虚拟表示的至少一部分投影到所述机器人设备的环境上。
16.如权利要求1所述的方法，还包括：
由所述计算设备向所述机器人设备提供信息来修改所述机器人设备的动作或意图，其中所述信息包括所述计算设备的加速度计基于所述计算设备的运动的输出；并且
作为响应，从所述机器人设备接收经更新的所述机器人设备的计划轨迹和经更新的所述机器人设备要操作的物体中的一者或多者。
17.如权利要求1所述的方法，其中，所述计算设备是第一计算设备，并且所述方法还包括：
由第二计算设备向所述机器人设备提供信息来修改所述机器人设备的动作或意图，其中所述信息包括所述第二计算设备的加速度计基于所述第二计算设备的运动的输出；并且
作为响应，由所述第一计算设备从所述机器人设备接收经更新的所述机器人设备的计划轨迹和经更新的所述机器人设备要操作的物体中的一者或多者。
18.如权利要求1所述的方法，还包括：
由向所述机器人设备注册了的设备提供沿着路径的光的投射来修改所述机器人设备的动作或意图；并且
作为响应，从所述机器人设备接收经更新的所述机器人设备的计划轨迹和经更新的所述机器人设备要操作的物体中的一者或多者。
19.一种非暂态计算机可读介质，其上存储有指令，所述指令在被计算设备执行时使得该计算设备执行功能，所述功能包括：
接收指示出机器人设备执行任务的动作或意图的信息，其中所述动作或意图包括所述机器人设备为了执行所述任务的至少一部分的计划轨迹和所述机器人设备为了执行所述任务的至少一部分而要操作的物体中的一者或多者；并且
提供所述动作或意图的虚拟表示来显示在增强现实界面上，其中所述虚拟表示包括所述机器人设备的计划轨迹的至少一部分或者突出所述机器人设备要操作的物体作为所述增强现实界面上的注释。
20.如权利要求19所述的非暂态计算机可读介质，其中：
接收指示出所述机器人设备执行所述任务的动作或意图的信息包括在所述机器人设备发起所述任务的执行之前接收所述信息；并且
提供来显示包括提供被覆盖到所述机器人设备所存在于的环境的表示上的所述动作或意图的虚拟表示，所述环境包括所述环境中的所述机器人设备。
21.一种由计算机实现的方法，包括：
接收指示出机器人设备在物理环境中执行任务的动作或意图的信息，其中所述动作或意图包括所述机器人设备为了执行所述任务的至少一部分的计划轨迹和所述机器人设备为了执行所述任务的至少一部分而要操作的物体中的一者或多者；并且
由设备向所述物理环境中提供所述动作或意图的虚拟表示，其中所述虚拟表示包括所述机器人设备的计划轨迹的至少一部分的指示或者突出所述机器人设备要操作的物体。
22.如权利要求21所述的方法，其中，所述设备包括投影仪，并且所述方法还包括所述投影仪投影被覆盖到所述物理环境上的所述动作或意图的虚拟表示。
23.如权利要求22所述的方法，其中，所述投影仪被包括在所述机器人设备上，并且所述方法包括所述机器人设备在所述任务的执行之前或期间投影被覆盖到所述物理环境上的所述动作或意图的虚拟表示。
24.如权利要求21所述的方法，其中，所述设备位于所述机器人设备的远程，并且所述方法包括所述设备提供被覆盖到所述物理环境的表面上的所述动作或意图的虚拟表示。
25.如权利要求21所述的方法，其中，所述设备包括投影仪，并且所述方法还包括所述投影仪将光投射到所述机器人设备要操作的物体上。
26.如权利要求21所述的方法，其中，所述虚拟表示包括一组虚拟足迹来表示所述机器人设备沿着所述计划轨迹的所述一部分的未来移动。
27.如权利要求21所述的方法，其中，所述虚拟表示包括地板上的覆盖所述机器人设备的计划轨迹的所述一部分的线条。
28.如权利要求21所述的方法，其中，所述虚拟表示在所述物体上所述机器人设备计划操作所述物体之处包括指示。
CN201580033617.6A 2014-08-25 2015-08-19 用于显示机器人设备动作的虚拟表示的增强现实的方法和系统 Pending CN106471441A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462041173P 2014-08-25 2014-08-25
US62/041,173 2014-08-25
PCT/US2015/045787 WO2016032807A1 (en) 2014-08-25 2015-08-19 Methods and systems for augmented reality to display virtual representations of robotic device actions

Publications (1)

Publication Number Publication Date
CN106471441A true CN106471441A (zh) 2017-03-01

Family

ID=54072963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033617.6A Pending CN106471441A (zh) 2014-08-25 2015-08-19 用于显示机器人设备动作的虚拟表示的增强现实的方法和系统

Country Status (6)

Country Link
US (1) US10896543B2 (zh)
EP (1) EP3186782A1 (zh)
JP (1) JP6440745B2 (zh)
KR (1) KR101870067B1 (zh)
CN (1) CN106471441A (zh)
WO (1) WO2016032807A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832809A (zh) * 2017-10-27 2018-03-23 安徽硕威智能科技有限公司 一种卡片与机器人之间数据交互处理的方法和系统
WO2019085716A1 (zh) * 2017-10-31 2019-05-09 腾讯科技（深圳）有限公司 移动机器人的交互方法、装置、移动机器人及存储介质
CN110119141A (zh) * 2018-02-05 2019-08-13 本田技研工业株式会社 移动体控制系统、移动体及移动体控制方法
CN111448568A (zh) * 2017-09-29 2020-07-24 苹果公司 基于环境的应用演示
CN111512254A (zh) * 2018-01-02 2020-08-07 通用电气公司 用于基于人类演示的工业任务的机器人学习的系统和方法
CN112105486A (zh) * 2018-03-26 2020-12-18 伺服创立自动化解决方案有限公司 用于工业机器人的增强现实
CN112363696A (zh) * 2020-11-11 2021-02-12 中车工业研究院有限公司 增强现实快速开发系统及方法、电子设备及可读存储介质
CN112770875B (zh) * 2018-10-10 2022-03-11 美的集团股份有限公司 提供远程机器人控制的方法和系统

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
CN108700982B (zh) * 2016-02-08 2021-11-23 索尼公司 信息处理设备、信息处理方法以及程序
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
JP6647711B2 (ja) * 2016-03-16 2020-02-14 国立大学法人電気通信大学 ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム
CN105897509B (zh) * 2016-04-08 2020-04-07 上海工程技术大学 一种基于云计算的机器人软件运行及仿真系统
US10956739B2 (en) * 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
KR102526083B1 (ko) * 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102544737B1 (ko) * 2016-08-30 2023-06-16 엘지전자 주식회사 로봇 청소기 및 로봇 청소기를 포함하는 시스템
KR102567525B1 (ko) 2016-11-17 2023-08-16 삼성전자주식회사 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법
US10536515B2 (en) 2016-12-23 2020-01-14 Kausik Majumdar Method and program product for robot communications
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
EP3595850A1 (en) * 2017-04-17 2020-01-22 Siemens Aktiengesellschaft Mixed reality assisted spatial programming of robotic systems
US10860853B2 (en) * 2017-04-28 2020-12-08 Intel Corporation Learning though projection method and apparatus
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US11559898B2 (en) 2017-10-06 2023-01-24 Moog Inc. Teleoperation system, method, apparatus, and computer-readable medium
KR101974447B1 (ko) * 2017-10-13 2019-05-02 네이버랩스 주식회사 게임 환경 추상화를 통한 강화 학습 기반의 모바일 로봇 제어
KR101974448B1 (ko) * 2017-10-13 2019-05-02 네이버랩스 주식회사 비동기 방식의 목표물 분류에 기반한 모바일 로봇 제어
KR102082433B1 (ko) * 2017-10-19 2020-02-27 한국과학기술연구원 프로젝터-카메라 기반의 로봇형 디바이스와 헤드 마운트 디스플레이를 사용하는 원격 협업 시스템 및 이를 이용한 원격 인터랙션 방법
JP6763846B2 (ja) * 2017-11-24 2020-09-30 ファナック株式会社 ロボットの教示操作を行う教示装置および教示方法
US10676022B2 (en) * 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
JP2019153070A (ja) * 2018-03-02 2019-09-12 東芝テック株式会社 情報処理装置、及び情報処理プログラム
EP3762190A4 (en) 2018-03-05 2022-01-26 The Regents Of The University Of Colorado HUMAN-ROBOT INTERACTION AUGMENTED REALITY COORDINATION
WO2019209882A1 (en) * 2018-04-23 2019-10-31 Purdue Research Foundation Augmented reality interface for authoring tasks for execution by a programmable robot
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
KR101947160B1 (ko) * 2018-06-20 2019-02-12 (주)코딩앤플레이 증강현실을 이용한 코딩교육 방법
US11169601B2 (en) * 2018-07-12 2021-11-09 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
KR102190743B1 (ko) * 2018-08-17 2020-12-15 주식회사 트레셋 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
US11685052B2 (en) * 2018-09-18 2023-06-27 Kinova Inc. Vision guided robot arm and method for operating the same
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
US11351671B2 (en) * 2018-10-29 2022-06-07 Toyota Research Institute, Inc. Intent based control of a robotic device
US20200184196A1 (en) * 2018-12-11 2020-06-11 X Development Llc Volumetric substitution of real world objects
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
US10872459B2 (en) 2019-02-05 2020-12-22 X Development Llc Scene recognition using volumetric substitution of real world objects
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10940796B2 (en) * 2019-04-05 2021-03-09 Ford Global Technologies, Llc Intent communication for automated guided vehicles
JP7162564B2 (ja) * 2019-04-16 2022-10-28 清水建設株式会社 情報表示システムおよび情報表示方法
US10916061B2 (en) * 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
US20220193904A1 (en) * 2019-06-12 2022-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Technique for Determining Control Information to be Wirelessly Transmitted to a Robotic Device
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
JP7386451B2 (ja) 2019-10-03 2023-11-27 株式会社豆蔵 教示システム、教示方法及び教示プログラム
US20210162593A1 (en) * 2019-12-03 2021-06-03 Samsung Electronics Co., Ltd. Robot and method for controlling thereof
KR102583960B1 (ko) 2020-01-06 2023-09-27 한국전자통신연구원 무인 비행체의 데이터 세트 생성 방법 및 장치
US11529737B2 (en) * 2020-01-30 2022-12-20 Raytheon Company System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
KR102377988B1 (ko) * 2021-09-30 2022-03-24 주식회사 아진엑스텍 로봇과의 협업 보조 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310705A1 (en) * 2007-03-29 2008-12-18 Honda Motor Co., Ltd. Legged locomotion robot
CN101794349A (zh) * 2010-02-09 2010-08-04 北京邮电大学 机器人遥操作增强现实实验系统及方法
US20110040405A1 (en) * 2009-08-12 2011-02-17 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium controlling whole-body operation of humanoid robot
US8447863B1 (en) * 2011-05-06 2013-05-21 Google Inc. Systems and methods for object recognition
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005066744A1 (en) 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
US20050227724A1 (en) * 2004-04-12 2005-10-13 Chieh-Chih Tsai Wireless network and method for determining nearest wireless device
US9195233B2 (en) * 2006-02-27 2015-11-24 Perrone Robotics, Inc. General purpose robotics operating system
JP2009123045A (ja) 2007-11-16 2009-06-04 Toyota Motor Corp 移動ロボット及び移動ロボットの危険範囲の表示方法
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9283675B2 (en) 2010-11-11 2016-03-15 The Johns Hopkins University Human-machine collaborative robotic systems
JP5246672B2 (ja) * 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム
WO2012150602A1 (en) * 2011-05-03 2012-11-08 Yogesh Chunilal Rathod A system and method for dynamically monitoring, recording, processing, attaching dynamic, contextual & accessible active links & presenting of physical or digital activities, actions, locations, logs, life stream, behavior & status
US8386078B1 (en) * 2011-05-06 2013-02-26 Google Inc. Methods and systems for providing a data library for robotic devices
US8406926B1 (en) 2011-05-06 2013-03-26 Google Inc. Methods and systems for robotic analysis of environmental conditions and response thereto
US8594845B1 (en) 2011-05-06 2013-11-26 Google Inc. Methods and systems for robotic proactive informational retrieval from ambient context
CA3164530C (en) 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
US9744672B2 (en) * 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US9527211B2 (en) * 2013-05-10 2016-12-27 Cnh Industrial America Llc Control architecture for multi-robot system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310705A1 (en) * 2007-03-29 2008-12-18 Honda Motor Co., Ltd. Legged locomotion robot
US20110040405A1 (en) * 2009-08-12 2011-02-17 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium controlling whole-body operation of humanoid robot
CN101794349A (zh) * 2010-02-09 2010-08-04 北京邮电大学 机器人遥操作增强现实实验系统及方法
US8447863B1 (en) * 2011-05-06 2013-05-21 Google Inc. Systems and methods for object recognition
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHESTNUTT J ET AL: "Interactive control of humanoid navigation", 《IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEM IEEE PRESS》 *
KOBAYASHI K ET AL: "Viewing and reviewing how humanoids sensed,planned and behaved with mixed reality technology", 《HUMANOID ROBOTS,2007 7TH IEEE-RAS INTERNATIONAL CONFERENCE ON,IEEE,PISCATAWAY,NJ,USA》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111448568A (zh) * 2017-09-29 2020-07-24 苹果公司 基于环境的应用演示
CN111448568B (zh) * 2017-09-29 2023-11-14 苹果公司 基于环境的应用演示
CN107832809A (zh) * 2017-10-27 2018-03-23 安徽硕威智能科技有限公司 一种卡片与机器人之间数据交互处理的方法和系统
WO2019085716A1 (zh) * 2017-10-31 2019-05-09 腾讯科技（深圳）有限公司 移动机器人的交互方法、装置、移动机器人及存储介质
US11142121B2 (en) 2017-10-31 2021-10-12 Tencent Technology (Shenzhen) Company Limited Interaction method and apparatus of mobile robot, mobile robot, and storage medium
CN111512254A (zh) * 2018-01-02 2020-08-07 通用电气公司 用于基于人类演示的工业任务的机器人学习的系统和方法
CN110119141A (zh) * 2018-02-05 2019-08-13 本田技研工业株式会社 移动体控制系统、移动体及移动体控制方法
CN112105486A (zh) * 2018-03-26 2020-12-18 伺服创立自动化解决方案有限公司 用于工业机器人的增强现实
CN112105486B (zh) * 2018-03-26 2024-05-10 伺服创立自动化解决方案有限公司 用于工业机器人的增强现实
CN112770875B (zh) * 2018-10-10 2022-03-11 美的集团股份有限公司 提供远程机器人控制的方法和系统
CN112363696A (zh) * 2020-11-11 2021-02-12 中车工业研究院有限公司 增强现实快速开发系统及方法、电子设备及可读存储介质
CN112363696B (zh) * 2020-11-11 2023-12-22 中车工业研究院有限公司 增强现实快速开发系统及方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
JP2017534091A (ja) 2017-11-16
WO2016032807A1 (en) 2016-03-03
JP6440745B2 (ja) 2018-12-19
US10896543B2 (en) 2021-01-19
KR20170010815A (ko) 2017-02-01
EP3186782A1 (en) 2017-07-05
KR101870067B1 (ko) 2018-06-22
US20160055677A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
CN106471441A (zh) 用于显示机器人设备动作的虚拟表示的增强现实的方法和系统
US11663789B2 (en) Recognizing objects in a passable world model in augmented or virtual reality systems
US10984356B2 (en) Real-time logistics situational awareness and command in an augmented reality environment
US9399294B1 (en) Displaying estimated image data in a user interface
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
CN103460256B (zh) 在扩增现实系统中将虚拟图像锚定到真实世界表面
JP2023018097A (ja) 人間とロボットの相互作用の拡張現実調整
JP6919206B2 (ja) 表示装置、及び、表示装置の制御方法
CN114762008A (zh) 简化的虚拟内容编程的交叉现实系统
EP3971674A1 (en) Systems and methods for uav flight control
US20150035822A1 (en) Dockable Billboards For Labeling Objects In A Display Having A Three-Dimensional Perspective Of A Virtual or Real Environment
CN109671118A (zh) 一种虚拟现实多人交互方法、装置及系统
CN114616534A (zh) 具有无线指纹的交叉现实系统
CN115461787A (zh) 具有快速定位的交叉现实系统
CN107533767A (zh) 机器人的增强的配置和控制
CN108780325A (zh) 用于调整无人飞行器轨迹的系统和方法
CN107223199A (zh) 基于三维地图的导航方法和设备
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
US20200372715A1 (en) Real-world object recognition for computing device
CN109313418A (zh) 用于控制可移动物体行为的系统和方法
CN108513641A (zh) 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机
CN109076101A (zh) 云台控制方法、设备及计算机可读存储介质
CN104166929A (zh) 一种基于时空场景的信息推送系统和方法
CN208128409U (zh) 一种漫游式全景图自动拍摄系统
CN109873992A (zh) 信息处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170301