CN104640677B - 训练和操作工业机器人 - Google Patents

Abstract

机器人可基于关于对象和/或环境的传感器输入，连同表示原始任务的数据结构，以及在一些实施例中表示与原始任务相关的对象和/或位置的数据结构，来操纵对象。可在训练期间由人类训练员通过实例化相应的原型来创建数据结构。

Description

训练和操作工业机器人

相关申请的交叉引用

本发明要求在2012年9月17日提交的申请号为13/621657、13/621706、13/621708、13/621658、13/621648、13/621687、13/621517、13/621519和13/621561的美国专利申请，以及在2012年6月21日提交的申请号为61/662646、在2012年7月27日提交的申请号为61/676586的美国临时专利申请的优先权和权益，并且该美国专利申请和美国临时专利申请通过引用被全部包含于此。

技术领域

本发明总体上涉及机器人操作和训练。更为具体地，各个实施例涉及由工业机器人获取、组织和使用与任务相关的信息，以促成自主方式的任务执行。

背景技术

工业机器人执行各种各样的任务，该任务涉及物理对象的移动和对物理对象的操纵。例如，典型的工业机器人可具有配置了夹持器(gripper)的一个或多个手臂，其允许机器人在特定的位置处拿起对象，将它们运送到目的位置，并且根据特定的坐标放下它们，从而例如将它们堆叠或者将它们放置到存在于目的位置处的纸板盒内。

通常用语言来编程用于现有的工业机器人的控制器，该语言为机器人手臂指定精确的位置和轨迹。在编程任务的执行期间，机器人手臂将与其最末端的链节(link)相关联的参考坐标移动到精确指定的新位置，并且跟随精确指定的轨迹。现有工业机器人成功的原因在于它们在受限环境中的操作，其允许对机器人进行编程的人(通常参与构造机器人的工作空间的过程)以高可信度预测哪些对象将一直存在于工作空间中以及它们将位于哪里。因此，将机器人手臂上的参考点经由特定的轨迹移动到特定的坐标，并且接着打开或关闭机器人的夹持器(或者应用或释放吸爪)，导致现实世界中的动作，该动作完成机器人的期望任务。

可使用六维向量来唯一指定三维空间中的参考点，以及最末端的链节的方向。因此，如果机器人手臂本身具有六或者更少的自由度，则该向量唯一确定机器人的所有关节的设置。如果机器人手臂具有多于六的自由度，则需要进一步指定手臂的期望姿势，以消除任何歧义。

用于工业机器人的当前编程系统具有输入层，该输入层在不同程度上成功地避免了将程序员暴露给六维向量。在一种方法中，通过将手臂物理地移动到期望的姿势和位置并且接着使机器人记录该位置，来设置轨迹的端点。在实践中使用用于移动手臂的各种方法。最常用的方法使用仅在示教阶段插入机器人控制器的外部示教附件(teachingpendant)，即手持式控制终端。该附件通常包括LCD屏、操纵杆或类似的操纵装置、一个或多个按钮，且有时包括完整的键盘，它们一起允许用户来控制和移动机器人。另一种技术涉及将测力传感器装配到机器人手臂的最末端的链节，并且使用户将该手臂转换到一种模式，在该模式下该手臂对施加到测力传感器的力作出响应。采用这种方法，用户用手将机器人引导到期望的位置，可能用示教附件进行调整，并且接着给出命令来记录该位置。例如，可经由附件上的按钮或者经由语音来给出该命令。

无论使用什么样的输入方法，传统工业机器人是针对在坐标系统中相对于机器人的向量化移动编程的。尽管一些编程系统允许来自外部传感器的输入来识别外部位置，但这些外部位置也被转换成机器人的坐标系统，以便机器人将其参考点移动到期望位置。该转换依赖于机器人相对于外部传感器的位置和方向的知识；工业化机器人的典型的位置精度要求在亚毫米的范围内。因此，如果相对于世界中的对象移动了机器人或者外部传感器，即使仅仅是很小的距离，机器人会将其参考点移动到世界中的错误地点，并且从而在其任务上失败。

另外，尽管现有的机器人可使用外部传感器输入来检测例如将要操纵的对象或者装置，如盒子或传送带，但该输入仅用作下一任务的选通信号。必须用坐标和轨迹来仔细地编程机器人与外部对象自身的交互，并且仅当世界如程序员预期的那样有序，机器人才能成功地执行其任务，即没有碰撞或错位。例如，为使机器人将对象放置在如3X4格的纸板盒中，程序员必须指定与将要放置对象的盒中的位置相对应的十二组坐标。另外，为保证机器人本身或者抓住的对象不会与盒子的侧部碰撞，程序员必须指定装满十二个点的顺序，以及逼近的方向和轨迹(对照放置在中心的对象，对于靠盒子边界放置的对象，逼近的方向和轨迹不同)。当然，机器人将仅能包装在较窄的尺寸范围内的对象。如果与程序员假定的对象相比，对象较大或者具有不同的形状，则过程将失败，因为已经再一次高度约束了机器人的动作。

类似地，当将机器人编程为从传送带拿起对象时，程序员依赖传送带的受控制的、可预测的操作。通常，外部传感器(例如，附属于传送机的光束断开传感器)允许机器人检测传送机上的对象。每当光束断开时，沿传送机移动的期望类型的对象被认为是该断开的原因。以拿起位置的坐标和从断开时测量的时间延迟的形式，将传送机的速度隐式地编码到机器人程序内。也可以包括显式的速度向量，其允许在启动机器人夹持器时，该夹持器以与传送带上的对象相同的速度移动。只要关于传送机位置和速度的假设正确，这些规范(specification)保证机器人将从移动的传送机拿起期望的对象；否则，由于机器人不具有任务级知识，该机器人将失败。

机器人控制程序通常包括控制逻辑，该控制逻辑处理错误状况。由于通常管理机器人行为的坐标级特性，在发生错误的情况下响应选项是受限的。例如，当违反了特定编程的任务下的基本假设或者世界以其他方式偏离了预期的状态时，机器人可以简单地停止操作，并且可能发出错误警报。

相应地，需要一些机器人，其更灵活地响应于它们的环境且容忍与默认假设更大的偏差，并且优选地，该机器人可用于且被配置为基于直觉交互来执行复杂任务。

发明内容

本发明涉及能够执行包括操纵和移动物理对象的各种任务的机器人，以及编程和/或训练该机器人的方法。任务的执行通常基于机器人对其环境的感知。相应地，在各个实施例中，机器人配置有一个或多个摄像机或者使其能够检测、识别和定位要操纵的对象的其他传感器，以及辅助其任务的特定的机械部件或设备(例如传送带或存储盒)。通常，对该对象的检测和识别触发与该对象相关联的一个或多个任务的执行，并且此后的连续的视觉或其他传感器输入通知了执行的模式和方式。例如，在识别了将要移动到特定目的地的对象后，机器人可指示其摄像机中的一个来监控其路径，以便检测任何障碍物并且避免与它们的碰撞。可在机器人中存储通过训练提供或定义的或者细化的任务。

根据本发明的各个方面和实施例，通常不以(或者不完全以)一般的意义(即通过硬编码的指令)来编程机器人。相反，可经由与人类的直接交互来训练机器人。例如，人类训练员可将机器人和/或任何其附件引导到期望的位置，并且向其展示如果通过相对于对象调整附件、按下按钮来打开或关闭附件等来操纵对象。可经由屏幕和常用的输入装置(例如键盘、鼠标或触摸板)由用户交互来补充该机械输入，以指定或细化已存储的任务。例如，机器人可在屏幕上显示与其视野相对应的图像，并且允许用户通过在屏幕上指向对象(例如使用鼠标或触摸感应屏)来向其展示它们。一旦识别了将要操纵的对象，机器人可显示可能的操作的列表，每个操作与预存储的任务相对应，用户可通过点击期望的操作从列表中进行选择。此外，可例如经由键盘以文本格式输入与任务相关联的某些参数，例如与机器人运动相关联的最大速度。重要的是，在许多实施例中，以需要较少的或者不需要来自训练员的专业技术的方式，来构建机器人及其训练员之间的交互。

作为机器人训练的结果，可创建表示各个任务的数据结构并且将其存储在与机器人控制系统相关联的存储器中。通常，这些表示不从(或者至少不完全从)机器人附件的空间坐标和轨迹的角度来定义任务，而是与相对于环境中的对象的通用、空间未指定的运动相对应。因此，在特定任务的执行期间，机器人用关于该机器人的环境的信息，以及机器人在那时感知到的环境中的对象和设备来补充该任务的表示。以这种方式考虑机器人的环境，消除了对于在训练阶段对环境作出精确假设的需要，并且固有地促使机器人更灵活地执行其任务、自动处理错误以及利用变化的环境。另外，将训练集中在由相应的情况集合触发的独立的任务上，允许训练员以任何顺序来教导这些任务，而不管(组成更复杂程序的)任务的通常的执行顺序。相反，机器人可基于其对其环境的感知来选择或提议任务；例如，检测特定类型的对象可使机器人回顾与该对象相关联的任务，并且基于额外感知的对象进一步缩小这些可能性，例如，检测到箱子对象以及空传送带可引发对于涉及拿起和将箱子移动到传送带上的已存储的任务进行实验性选择。

在各个实施例中，由双层数据结构来促成在机器人训练以及机器人执行其任务时的这种灵活性。第一层包括原始或复杂任务(复杂任务通常是一系列诸如“拿起”、“移动”或“放下”的原始或基本任务)，以及对象、位置、设备和/或与任务相关的其他通用类别的硬编码原型。每个原型指定需要哪些信息来充分定义相应的类别或类的特定成员；通常，原型采用“字段”或“槽”的列表的形式，该“字段”或“槽”与类的各个属性相对应并且具有关联的参数值。第二层包括原型的实例，该原型的实例是在训练阶段，通常通过基于默认假设、在训练时机器人对其环境的感知以及来自训练员的直接输入的组合，填入至少一些字段而创建的。可基于机器人的感知，在执行时填充在该阶段保持空缺的槽。实例通常不用或者不完全用绝对坐标来定义任务或位置，而是根据环境中的对象以及环境的参数来定义任务或位置。一些原型的实例可引用其他原型的实例。例如，任务的实例可指定要操纵的对象的类或者用于该目的的设备的类型，其中，用类特定的或者设备特定的实例来定义对象类和/或设备本身。

采用通用原型以及这些原型的特定实例的形式的任务和其他类别的双层表示，促成了经由硬编码指令根据连续的特性来调整机器人被控制的程度，其中留下了在训练和/或执行期间要填充的一些缺少的细节。另外，其允许在不同的复杂度级别定义机器人任务，其范围从原始任务到涉及许多移动和操纵的复杂任务。对于一些应用来说，例如其中机器人是静止的、环境的预期状态在狭窄的范围内，或者需要以特定顺序执行子任务，可通过将复杂任务直接编程到机器人内并且将训练阶段缩减到最小定制来加以约束。对于其他应用来说，可能在训练和/或执行阶段期望最大的灵活性，这需要原始原型的更抽象的定义，其中一旦实例化该定义充当更复杂的任务的基础块。

相应地，在第一方面，本发明提供一种能够经由与人类训练员的交互被训练来操纵对象的机器人。在各个实施例中，所述机器人包括用于操纵对象的一个或多附件，以及用于操作所述附件的控制器。这些实施例还包括：用于存储原型库的计算机存储器，其中至少一个原型定义将由所述附件对对象执行的任务的类型；用于从所述人类训练员接收与所述任务相关的物理输入(例如，机械或视觉输入)的感知系统；用于基于所述物理输入通过指定任务原型的至少一个属性来创建任务原型的实例的训练模块；以及任务执行模块，用于经由对所述控制器的命令来执行实例，从而导致所述附件执行所述任务。任务通常涉及附件的移动和/或对对象的操纵。本文中，术语“操纵”指的是涉及机器人(例如，夹持器或其他终端执行器)和对象之间的物理接触的机器人运动，并且包含对对象的任何机械操作，例如抓住、移动、举起、敲打等。操纵可涉及或者不涉及对象的结构变化。实例可用所述附件的通用的、空间未指定的运动来定义所述任务，例如，采用在不指定空间轨迹的情况下定义的运动；或者，用所述附件相对于对象和/或其环境的运动来定义所述任务。

所述感知系统可包括可按压的按钮、旋钮、触摸感应板、触摸感应套箍和/或摄像机(或者其他视觉传感器)中的一个或多个，并且可被配置为接收关于对象或者其环境的物理信息。机器人控制器可被配置为响应于所述物理输入(例如，接触套箍)，在不受力重力补偿模式下操作。在一些实施例中，所述机器人还包括响应于用户接口系统用于向所述训练员提供任务相关的反馈的一个或多个输出装置。该反馈可例如包括机器人状态的指示、对进一步的输入的请求，或者错误警报，并且可采用在机器人摄像机视图上覆盖的图形的形式。所述原型库可包括定义对象类、设备类型或者位置的原型。在一些实施例中，所述训练模块基于关于类的成员的视觉输入，来创建对象类的实例；受操纵的对象可以是由实例引用的对象的类的成员。

在另一个方面，本发明涉及一种基于与人类训练员的交互的机器人学习的方法。在各个实施例中，所述方法涉及从训练员接收关于将由机器人执行的任务的物理输入；以及，响应于并且至少部分基于所述输入，从存储的原型的库中选择与所述任务相关联的原型。在数据库中创建和存储该原型的实例。所述实例指定机器人移动或者将对对象执行的机器人操纵，并且可从通用、空间未指定的角度来定义所述任务。所述方法还可以包括基于所述物理输入指定所述实例的一个或多个属性。

所述物理输入可以是或者包括机械输入和/或视觉输入。例如，在一些实施例中，接收物理输入涉及感测与所述训练员和/或对象的物理接触；捕获所述训练员、对象或者环境的一个或多个图像；和/或当由所述训练员移动附件时，跟踪机器人附件的位置。响应于并且至少部分基于所述输入，可选择并且实例化定义对象类的原型，以便在存储器中创建对象的表示。方法还可以包括向所述训练员提供反馈，例如，通过指示机器人的状态、从所述训练员请求额外输入和/或向所述训练员发出错误警报。可采用在机器人摄像机视图上覆盖图形的形式或者采用触觉反馈的形式来提供反馈。

在第三个方面，提供一种用于基于其物理感知在环境内操纵对象的机器人。在各个实施例中，所述机器人包括用于操纵对象的一个或多个附件，以及用于操作所述附件的控制器；用于从一个或多个传感器接收关于对象和/或环境的物理信息的感知系统；包括多个实例的实例数据库，其中多个实例中的至少一些实例指定将由所述附件对对象执行的任务；以及，用于基于接收的信息选择一个或多个实例的任务执行模块。可选地，可基于所述物理信息指定所选择的实例的属性。任务执行模块经由对控制器的命令，执行所选择的实例。此外，实例可从通用、空间未指定的角度来定义所述任务，例如，用附件相对于环境或者对象的运动，和/或从不指定空间轨迹的角度来定义所述任务。

所述实例数据库还可以包括定义对象类、设备的类型或者位置中的一个或多个的一个或多个实例。任务定义实例可引用任何一个其他的实例(即对象类、设备或者位置实例)。在一个实施例中，任务定义实例引用对象类，并且所述任务执行模块被配置为在感知系统检测到属于对象类的对象时，使得机器人附件执行针对所检测的对象的任务。感知系统可包括例如结合了计算机视觉系统的一个或多个摄像机。另外，所述感知系统可包括机械输入装置，例如能够按压的按钮、旋钮、触摸感应板或者触摸感应套箍中的一个或多个。

在进一步的方面，提供一种在环境内操纵对象的机器人实现的方法。所述方法涉及接收关于对象和/或环境的传感器输入(例如，捕获其一个或多个图像，或者检测与环境中的对象的物理接触)；以及基于所述传感器输入和指定将由机器人对对象执行的任务的实例的数据库，选择至少一个实例，可选地，指定所选择的实例的一个或多个属性并且执行所选择的实例，以便使得机器人附件据此来操纵对象。执行实例可涉及实例化与实例相关联的行为。所述行为可包括多个线程，所述线程具有与该线程相关联的条件集合，并且执行所述实例可涉及针对条件的满足来监控所述线程，其可以触发所述线程之间的转换。任务的执行还可以涉及运行一个或多个行为，该行为防止机器人与自己或者与环境中的对象碰撞。除了任务定义实例，所述实例数据库还可以包括各种对象类的实例，每个对象类与至少一个任务实例相关联。基于所述输入，可识别对象所属的对象类，并且可根据与所述对象类相关联的任务实例来执行执行步骤。

在又一个方面，本发明涉及一种用于基于其物理感知操纵环境内的对象的机器人。在各个实施例中，所述机器人包括：用于操纵对象的一个或多个附件，以及用于操作所述附件的控制器；用于从至少一个传感器(例如，摄像机和计算机视觉系统和/或一个或多个触摸感应检测器)接收关于对象和环境的物理信息的感知系统；具有多个实例的实例数据库，所述多个实例中的至少一些实例指定将由附件对对象执行的任务，其中每个任务指定对象以及将对该对象执行的动作，并且从通用、空间未指定的角度来定义每个任务；以及，响应于感知系统用于经由对控制器的命令来执行所述任务的任务执行模块。

在一些实施例中，所述任务执行模块基于所述物理信息，在与机器人相关联的坐标系统中实时动态地生成与任务相对应的轨迹。在其他实施例中，所述任务执行模块连续地监控对象，并且在此基础上使得机器人附件向对象移动，而不计算轨迹坐标。只要由所述任务执行模块基于监控的对象确定满足与移动相关联的前置条件，向对象的移动可继续。所述前置条件可例如是或者包括在附件和对象之间没有物理接触。

在另一个方面，一种用于在其环境内操纵对象的方法包括接收关于对象和/或环境的传感器输入(例如，通过捕获对象的图像)。在各个实施例中，基于(i)所述传感器输入和(ii)包括从通用、空间未指定的角度指定(将由机器人对对象执行的)任务的多个实例的实例数据库，来执行至少一个任务实例，以便使得机器人附件据此操纵对象。执行任务实例可涉及在与机器人相关联的坐标系统中实时动态地生成轨迹。可选地，执行任务实例可涉及连续监控对象，并且在此基础上，使得机器人附件向对象移动，而不计算轨迹坐标。例如，任务的执行可包括确定是否满足与任务相关联的前置条件(例如，在附件和对象之间没有物理接触)，并且如果满足，则继续向对象的移动。

在一些实施例中，执行任务实例包括实例化与所述实例相关联的行为。所述行为可包括具有相关联的条件集合的多个线程；可针对条件的满足来监控所述线程，其可以触发所述线程之间的转换。所述方法还可以涉及运行防止机器人与自己或者与环境中的对象碰撞的行为。

附图说明

根据本发明下面的具体实施方式，尤其在结合附图考虑该具体实施方式时，前述内容将更容易理解，其中：

图1是描述根据各个实施例的系统的框图；

图2A和2B是根据各个实施例的机器人的透视图；

图2C是描述根据各个实施例的机器人的计算和控制功能的实现的框图；

图3示意性地描述了根据各个实施例的原型库；

图4描述了根据各个实施例的与原型相对应的数据结构；

图5描述了根据各个实施例的原型和实例之间的关系；

图6是描述根据各个实施例的训练和任务执行方法的流程图；以及

图7示意性地描述了根据各个实施例的数据结构的实例和机器人行为之间的关系。

具体实施方式

1.系统概述

图1描述了根据本文的各个实施例的用于训练和操作机器人的示例控制系统100的架构。该系统包括用硬件和/或软件实现的数个功能组件(描述为具有尖角的框)，以及多个数据结构(描述为具有圆角的框)。功能组件通常并行操作，并且互相以及与数据结构通信(尽管最终由处理器执行以软件实现的而描述为自操作模块的各个功能组件)。图1用箭头指示通信路径。虚线箭头指示沿箭头方向流动的信息；双头的虚线箭头指示双向信息流；并且实线箭头指示沿箭头方向传送控制命令。

为使机器人能够根据其环境采取行动，系统100包括感知系统(或子系统)102，感知系统102通常包括用于捕获环境的图像的一个或多个摄像机，以及用于处理和解释图像的适当编程的计算设施(例如，由通用处理器执行其指令的软件模块)。摄像机通常在可见光谱中操作，但一些实施例可能替代地或者另外使用红外摄像机或者检测电磁波谱内的其他频率范围的摄像机。在一些实施例中，可使用一个或多个立体摄像机，或者更普遍地，可使用深度感测摄像系统(例如KINECT摄像机)。摄像机(或者其他光传感器)和图像处理设施一起形成了计算机视觉系统。感知系统102还可以包括本领域公知的额外的传感器，例如温度传感器、压力传感器、湿度传感器、触摸板、触觉传感器、位置和方向传感器(例如，GPS或旋磁传感器)、速度传感器和/或加速计、电传感器，和/或磁传感器。此外，除了集成到系统100自身内的传感器，系统100可包括用于接收来自外部和第三方传感器及传感器系统的信号的接口104。该接口104促成了使用在部署机器人的环境中可用的能力来补充机器人的内部感测能力。

系统100还包括机器人控制器106，其监控和改变机器人位置、运动学、动力学和力，并且一个或多个关节级控制器108与该机器人控制器106通信且接收来自该机器人控制器106的命令，该一个或多个关节级控制器108驱动独立的电机和致动器，以便如由机器人控制器106指示的那样移动机器人和/或其运动部分(该运动部分通常包括附件和终端执行器，并且还可以包括诸如摄像机或其他传感器)。机器人控制器106可与感知系统102交换信息。例如，当控制器106导致机器人附件或者终端执行器移动时，集成在附件内的摄像机可监控该运动，以便向控制器106提供反馈。相反地，由控制器106向感知系统102提供的信息可帮助视觉任务的执行；例如，如果将跟踪对象的任务分派给机器人摄像机，来自控制器106的、关于相对于预期对象位置的摄像机位置的信息可使该摄像机能够预测图像中的对象的近似大小，允许该摄像机限制搜索对象所需的其视野内区域的大小。通过连续地交换信息，控制器106和感知系统102可在跟踪对象的过程中在视觉上并且在物理上互相帮助，以便例如从传送带拿起该对象。

系统100的中心是任务执行模块110和训练模块112，任务执行模块110在机器人执行有用工作时管理该机器人的行为，训练模块112允许用户训练机器人并且在其正常操作期间还向人们提供关于该机器人的意图和状态的提示。通常经由感知系统102的组件和/或经由传统用户接口装置(例如，键盘、鼠标或触摸屏)来进行机器人和用户之间的交互。相应地，任务执行和训练模块110、112被配置为从感知系统102接收信息并且向感知系统102发送控制命令。此外，模块110、112都与机器人控制器10 6交换信息并且向机器人控制器106提供命令，以指导控制器对子任务的执行。任务执行模块110和训练模块112通常不从对方或者从任何其他的组件接收控制命令。相反，它们是整个系统100的控制源。例如，响应于从感知系统102接收的信息(例如，检测到新对象)，训练模块112或任务执行模块110可经由对控制器106的命令发起新动作或原始任务。相比之下，在原始任务的执行期间，可由感知系统102直接指导控制器106，而不需要信息先通过模块110、112中的一个。

任务执行模块110和训练模块112由一组共享表示(representation)联系在一起，并且通过该共享表示进行交互；定义这两个模块的指令使得用户能够操作这些共享表示，其中这些共享表示是在机器人训练期间通过实例化任务、对象和/或地点(并且可能地，其他类别)的原型创建的，该实例化产生了实例数据库114。通常在原型库116中组织原型本身。在一些实施例中，将任务执行模块110和训练模块112集成在提供训练和任务执行功能的一个模块内；这样避免了两个模块都会使用的功能的重复。

系统100还可以包括一个或多个用户模型118，该用户模型118包括数据，该数据与保证任务执行和训练模块110、112与人适当交互(例如，数据可包括识别特定的人是否是授权用户，并且当任何人进入机器人的操作地带时对移动施加安全约束)相关。可以由来自感知系统的数据(例如用户的脸的摄像机图像)通知用户模型，并且用户模型与任务执行和训练模块110、112双向交换信息。通常在存储器中存储(例如，在大容量存储装置中永久存储，以及在机器人操作期间在存储器分区中存储)所有这些数据结构(原型库、实例数据库和用户模型)，并且由系统100维护所有这些数据结构。

2.机器人设计

图2A-2B 示出了根据一个实施例的机器人200。机器人200具有两个手臂202，每个手臂202具有由适当的(或传统的)转动关节204提供的七自由度。每个关节204优选采用串联弹性致动器，使得机器人能够感测到作用于该机器人的外力，例如由意外的碰撞导致的力。在每个手臂的末端安装有平口夹持器(parallel-jaw gripper)206，其允许机器人抓住、提起和移动对象。机器人200还具有头部，该头部具有屏幕208和状态灯，该状态灯向用户通知机器人的状态。头部和屏幕208可关于垂直轴转动，并且关于与屏幕208平行的水平轴点头。

另外，机器人200包括五个摄像机。其两个手腕中的每个手腕都具有一个摄像机209，使得机器人200可以“看见”其正要拿起的对象，并且相应地调节其夹持器206。另外，其胸部具有并排的两个摄像机210，该摄像机210提供了工作空间的广角视野，并且允许机器人200在视觉上检测将要操纵的设备或对象。最后，机器人200具有在屏幕208上的摄像机211，该摄像机211方向朝外，以便检测环境中的人。机器人200还可以在每个手腕中包括距离传感器，并且在其头部中包括声纳传感器环，用于检测环境中的移动的对象；参见2012年4月26日提交的申请号为13/456915的共同待决的申请，且通过引用将该申请包含于此。

除了用于在视觉上和/或在听觉上检测对象的这些传感器，机器人200可包括在其手臂202和身体上的多个触摸感应传感器和机械特征，其促成与人(例如训练员)的机械交互。例如，在每个手腕上，机器人具有套箍(cuff)212，每当被触动时，该套箍212将机器人手臂转换成“不受力重力补偿”模式，该模式出于训练的目的允许用户将手臂从一个地点轻松地移动到另一个地点。在该模式下，机器人控制器106操作机器人手臂，以便在补偿重力的同时与在每个关节处具有低摩擦轴承的一组链节动作相似，这使得手臂不会垂到最低可能的配置(但相反，其表现得像在太空中一样)。要实现重力补偿，控制器106基于机器人的质量分布的详细模型考虑机器人的即时运动学配置，并且将扭矩应用于每个关节以便抵消重力。只要由训练员控制手腕套箍212，手臂甚至响应于小的力自由地移动，该手臂仅受到其惯性的阻碍。手腕套箍212上是两个按钮214，可在训练过程中使用该按钮214，例如，通过在不同的点(例如，多边形的顶点)点击其中一个按钮来标出区域，以确定对于对象的正确的视觉选择，或者手动地使夹持器打开或关闭。

另外，机器人200在其手臂、胸部和背部上包括四个相同的旋钮和按钮组214(每个组统称为“导航器”)。导航器214允许用户(例如，通过选择菜单项、在训练和执行模式之间转换)对于在屏幕208上显示的信息进行响应，并且经由数字旋转旋钮输入数字(例如，指示将多少行和列的对象要包装到盒中)或文本(例如，密码或者对象和任务名称)。此外，机器人200在其肩膀上包括两个触摸板216，该触摸板216允许在机器人200后面出现的人轻敲该机器人200，从而指示在训练该机器人时她想要站立的机器人200的一侧。这些视觉、声纳和基于触摸的传感器是代表性的而非限制性的，并且都是机器人感知系统102的部分。

当然，上文描述的机器人200仅是根据本发明的多个可能的机器人实施例中的一个。可采用将对本领域技术人员显而易见的方式来修改各个组件和特征。例如，机器人通常可具有任何数量的手臂(或者更普遍地说，附件)，并且每个手臂可具有任何数量的自由度。手臂的链节不需要由具有一个自由度的转动关节(例如，铰链关节)来连接，但是可以例如包括提供两个转动自由度的球窝关节，或者促成平移运动的轨道系统。另外，机器人可包括吸爪或者握住对象的其他装置，来代替具有紧密围绕对象的手指的夹持器。可选地或者另外地，机器可具有其他类型的终端执行器，例如工具(如钻、锯等)或者测量装置(如磅秤、计量表等)。机器人还可以包括腿、轮子或者将其身体作为整体来移动的类似装置。此外，可在机器人的身体和附件的各个位置安装额外的和/或不同类型的传感器。同样地，可以在不同的位置放置屏幕208和状态灯，或者由用于向用户传送信息的不同组件来代替或补充屏幕208和状态灯。例如，机器人可包括用于音频通信的扬声器和/或麦克风。

可将控制系统100及其各个组件集成到机器人内，或者(至少部分)保持在与机器人通信的独立控制设施中。例如，在一些实施例中，在软件中实现任务执行和训练模块110、112，其中在通用计算机的存储器中存储(例如，在使用期间，在系统存储器中，通常是在随机访问存储器(RAM)中存储；和/或在硬盘、CD-ROM或其他非易失性存储介质上长期存储)并且由计算机的处理器执行该软件。同样地，可在非易失性存储器中长期存储用户原型库116、实例数据库114和用户模型118，并且在使用时将其加载到系统存储器中。可采用任何合适的编程语言来编写模块，该编程语言包括但不限于：诸如C、C++、C#、Ada、Basic、Cobra、Fortran、Java、Lisp、Perl、Python、Ruby或对象Pascal的高级语言，或者低级汇编语言。可例如经由蓝牙、WAN、802.11协议、以太网或者任何其他的有线或无线连接来建立机器人和计算机之间的通信。可选地，如果机器人的大小允许，可将计算机或者计算机终端构建到机器人内。

另外，控制系统可采用各种各样的其他处理装置中的任何一个，来代替使用通用计算机，该其他处理装置包括但不限于：专用计算机、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或者可编程门阵列(PGA)。同样地，可在机器人的身体、头部或者附件之中或之上安装该装置，或者在独立控制设施中包含该装置，其中该独立控制设施经由电缆或无线信号与机器人进行通信。在各个实施例中，使用多个不同的处理装置的组合。另外，在一些实施例中，在物理集成到机器人内的组件以及与机器人通信的外部组件之间分布全部控制功能。例如，机器人控制器106和关节级控制器108，以及用于捕获摄像机图像或其他信号(以及可能的，执行基本的图像/信号处理步骤)的硬件可以位于机器人中，而可以在位于远程的设施中提供高级数据结构和处理功能。

图2C以框图的形式描述了示例控制系统。该系统包括数个ARM处理器(由英国剑桥的ARM控股公司开发的精简指令集计算机(RISC)处理器)，该ARM处理器充当关节级控制器108。在通用计算机250上实现包括任务执行和训练模块110、112以及图像处理设施和相关视觉算法的所有其他计算功能，该通用计算机250集成在机器人中，其包括中央处理单元(CPU)252(例如，英特尔四核处理器)、系统存储器254和非易失性大容量存储装置(如一个或多个硬盘和/或光存储单元)。计算机250还包括双向系统总线256，CPU 252、存储器254和存储装置256通过该双向系统总线256彼此通信，并且与内部或外部输入/输出装置以及与ARM处理器108通信，该内部或外部输入/输出装置诸如是屏幕208、感知系统102的硬件组件(例如，摄像机209、210、211，导航器214，手腕套箍212)、外部传感器104，和/或传统输入装置(例如，键盘或鼠标)。

系统存储器254包含在概念上描述为一组模块的指令，其控制CPU252的操作以及CPU 252与其他硬件组件的交互。操作系统260(例如G entoo Linux)指导低层、基本系统功能的执行，例如存储器分配、文件管理和大容量存储装置256的操作。在较高层，一个或多个服务应用262集成了机器人控制器106、任务执行模块110、训练模块112和图像处理模块。可在大容量存储装置256上，和/或在操作期间在系统存储器254中，存储原型库116、实例数据库114和用户模型118。在一个实施例中，机器人控制器106在CPU 252上以100Hz循环的速率运行，而视觉算法以及训练和执行模块以接近10Hz的速率运行。在一个实施例中，如果用ARM处理器来实现关节级控制器，该关节控制器以约1000Hz的速率运行。实现控制系统100的各种可选方式对于本领域技术人员来说是显而易见的，并且如所描述的示例系统，无需过度的实验就可以实现该各种方式。

3.任务表示和操作原理

根据各个实施例的机器人控制系统在存储器中用原始机器人操作(即，机器人的移动或者对对象的操纵)，以及与这些操作相关联的地点类型和对象类、固定装置或者设备，来表示任务。更具体地说，在原型库116中存储这些原始操作和相关类别的硬编码原型，并且该硬编码原型充当用于创建由任务执行模块110使用的原型实例的模板。

图3描述了包含三个原型类的示例原型库116(“或模板库”)的结构：原始操作或任务的原型300、地点的原型302以及在视觉上可识别的对象的原型304。原始任务300可包括例如用于抓住、拿起或放下对象的操作；用于通过洞插入对象的操作，或者用于移动机器人附件(持有或者未持有对象)的操作，这里仅举几例。地点的原型302可例如包括：特定类型对象的源或目的位置，可堆叠对象的地点、与纸板盒或其他载体中与各部分的布局相对应的矩形阵列，或者传送带。在视觉上可识别的对象的原型304可包括将要操纵的对象的类，和/或将在环境中找到的专用固定装置或设备(例如，传送带、纸板盒、磅秤、测试机器等)的类。一些对象(例如纸板盒或传送带)的类可具有与其关联的专用视觉例程，而其他类可属于通用对象原型。针对在视觉上训练机器人以识别的每个对象，机器人为其实例化对象原型。

尽管对于本文考虑的多个机器人应用来说，原始任务、地点和对象是有用的原型类，但它们决不是用来对将原型组织到各个类别进行限制。可在各个环境中使用的其他原型类别包括：例如，复杂任务原型(其可能涉及和指定原始任务的顺序，或者直接指定组成复杂任务的动作)、(例如容器、运输车等的)设备原型、(例如钻、锯、锉等的)工具原型，或者(例如与某些任务的开始或结尾相关联的触发器、构成更复杂的任务的原始任务的特定顺序等的)时间和序列原型。通常，由相似类型的信息来表征每个类或者类别内的原型。如图3所示，一些实体可具有属于多于一个类别的关联原型。例如，传送带可具有与其相关联的对象原型和地点原型，该对象原型需要指定特定的视觉技术来识别传送带，并且该地点原型需要指定其功能(例如对象的源或目的位置)和/或其在空间坐标中的位置。在编程阶段(即，在创建原型库时)，由于属于多种原型类别中的一种，概念化原型可能是有用的，并且可以(但是不是必须)体现在原型库116的结构中。尽管某些库具有针对原型的各个类别的子库，但是其他库可以在一个通用的存储位置处不加区分地存储原型。

图4描述了原型400的通用结构。原型400提供由多个槽(slot)401组成的模板数据结构，每个槽401包括槽标签402和槽填充位404(或者用于接收槽填充位的空字段)。原型400还将每个槽401与方法406或一组方法相关联，该方法406或一组方法用于填充槽401。从可用程序池408中选择槽填充方法406。

训练机器人的过程涉及从库116中选择原型、将它们实例化(即，基于模板构造数据结构，称作“实例”)，并且在实例槽中填充值。填充槽的方式可随原型的类别而变化。如图4所示，原型400可包括用于一些槽401的默认的槽填充位404。在实例化原型时复制任何这样的默认填充位。使用与特定槽相关联的填充方法406，通过用户输入和/或适当的推理来填充另外的槽。在一些实施例中，当用户填充槽时，基于已填充的槽来伺机填充更多槽的槽填充程序变为可用；用这种方法，随着从用户学习关于特定任务的更多知识，槽填充程序406提供主动默认和跨对象或跨类别的槽数据。通常，当自动填充的值对任务不适用时，用户具有手动改变该自动填充的值的能力。通常，在改变槽值时，重新调用与原型相关联的程序以便将信息传播给其他槽中的任何相关填充位。因此，通常由逐步求精的过程来实例化原型。

图5描述了原型500和对应实例502之间的关系。指导堆中对象的布局的原型500包含执行任务所需的所有槽(例如，布局的位置、布局中对象的最大数量、布局的类型以及要布置的对象的类型)，并且包括一些槽的默认填充位(例如，对于布局是堆的指示，以及25，其作为要堆叠的对象的最大数量)。另外，原型500将各个填充程序与槽相关联。在原型500的实例502中，基于已知信息或观测信息采用或者修改默认填充位，并且在训练机器人或者机器人开始任务时填充另外的槽。槽填充位的值共同确定了实例的属性。槽填充位可以是实际数据(例如，堆的位置的坐标) 或者对其他原型的实例的引用。例如，要堆叠的对象可以是在“盒子”实例中进一步指定的盒子。再如，复杂任务的原型可能需要各个子任务的说明，并且用对原始任务实例的引用来填充该子任务的槽。例如，在关系或者面向对象数据库中容易地指定和维护原型之间的面向对象的关系。

在训练期间，每次对原型进行实例化时，创建唯一的实例。通常，给定的任务可涉及相同原型的多个实例。例如，需要根据对象的重量在多个位置堆叠对象，并且这些位置中的每一个与堆原型500的一个独立的实例502相对应。一旦从原型创建实例，即使实例中的一些槽仍然未被填充，任务执行模块110通常就能根据该实例进行操作。如果在执行涉及实例的任务期间，随后需要一个未填充槽的数据，则任务执行模块110可例如中断执行，并且请求来自用户的输入以便填充该槽。根据任务，可能根本不需要填充某些槽(或者重写默认值)。

图6根据各个实施例概括了对原型和实例的使用。通常，在训练阶段，当机器人经由其感知系统102和/或经由直接用户输入接收信息时触发实例创建(步骤600)。机器人使用该信息从原型库116中选择适当的原型(步骤602)，并且在对原型进行实例化(步骤604)之后或者之中，在实例中填充一个或多个槽(步骤606)。例如，机器人训练员可将机器人的摄像机转向到对象，使得该机器人首先基于该对象的视觉外观来创建通用“对象”原型的实例，并且接着显示与该对象原型相关联的原始任务列表。基于由训练员对其中一个原始任务的选择，接着实例化该任务的原型。用户可关于对象来指导机器人对原始任务的执行，从而提供值来填充任务实例的槽。在实例数据库114中存储因此创建的实例。训练员可以在任何时候终止训练，这允许任务执行系统根据已指定的实例进行操作。随后，用户可响应于来自机器人自己的对更多信息的请求，重新开始训练。

一旦创建好填充了足够多个槽的足够的实例，机器人可在任务执行模式下操作，并且解释这些实例。在该模式下，机器人通常等待接收来自用户或者来自其感知系统102的输入，该输入触发特定的任务(步骤610)。基于该输入，机器人选择一个或多个实例(步骤612)(例如，其检测到的对象的实例、与该对象相关联的原始任务的实例，以及其中将要执行该任务的位置的实例)，并且在适当的情况下，在实例的开放字段中进行填充(步骤614)。接着根据实例来执行任务(616)。特别地，如在下文中详细解释的，原始任务(例如“拿起”或“放下”)以具有由各自的原始任务实例指定的参数、前置条件和后置条件的规则的方式进行操作。(非原始)任务在内部被表示为在执行模式下伺机运行的规则的集合。训练员通常不接触规则的表示或者细节，并且甚至不需要知道它们的存在。

相应地，根据各个实施例，并非用六维坐标来向机器人教导一系列动作，而是向机器人教导一系列规则。为了能够在执行阶段将这些规则转换成实际动作，机器人一直维护其身体、头部、手臂和任何其他致动元件的位置和方向的三维自模型；通常，该三维自模型被实现为与位于特性(例如方向性)的任务合适级别的元素和位置相关的数据库。可以用相对于机器人的坐标、用在视觉上可识别的外部对象和装置，或者参考附属于环境中的事物的基准标记，来指定机器人在其任务执行期间需要达到的地点。

4.感知、用户交互和训练

本发明的各个实施例依赖于机器人在其环境中进行视觉检测和/或识别对象和人的能力。该视觉检测本身可以是需要训练机器人来执行的任务。训练通常涉及机器人对环境的连续感知，以及来自人类训练员的输入和反馈。例如，要教导机器人在视觉上识别特定的对象，训练员可以首先确定一个机器人摄像机的方向，使得该对象在该摄像机视野中出现，该摄像机视野可在机器人头部中的屏幕208上显示。训练员可例如使用鼠标或触摸屏指出在摄像机视野中的对象。可选地，机器人的计算机视觉系统可基于一个或多个规则来尝试识别感兴趣的对象；例如，该系统可默认选择摄像机视野中心的对象或者图像前景中的对象。例如，可基于用立体摄像机或独立的深度传感器获得的，或者来源于两个不同但重叠的摄像机视野的深度信息来区分前景和背景。可使用训练员输入来确认或者拒绝机器人的自动对象选择。一旦向机器人指示感兴趣的对象，计算机视觉系统可生成图像中的对象的轮廓，从而识别出被认为是属于该对象的所有像素。可例如基于亮度、颜色或深度信息来识别该像素组；适当的算法是本领域技术人员公知的，并且其中包括边缘检测算法。用户可以再次提供反馈，以指示机器人的计算机视觉系统是否已经正确地画出该对象的轮廓，并且在必要时导致修正(例如，通过重新确定摄像机的方向)。

接下来，训练模块112创建所识别的对象的实例。对于一些对象，该实例是从通用“对象”原型创建的对象的视觉外观的实时动态(on-the-fly) 表示，其需要指定促成随后识别相同(或者相同类型的)对象的视觉模型(包括数据结构和关联算法)。例如，可将对象的图像作为模板存储在实例中，该模板用于与随后捕获的图像进行基于相关性的匹配。可选地，可将特定的形状拟合到对象的轮廓，并且将其参数值以及与模板参数的允许偏差的阈值连同实例一起存储，用于随后的比较。这些和其他视觉模型和技术的细节是计算机视觉领域的技术人员公知的，并且无需过度实验就可以在本发明的实施例中实现的。通常，不同的视觉模型可能或多或少适用于不同类型的对象。相应地，训练员可以为正训练机器人来识别的对象选择合适的模型，或者可选地，机器人可尝试不同的模型，并且选择例如基于用户反馈确定的、产生最佳识别性能的一个模型。无论使用哪个视觉模型，所训练的机器人的计算机视觉系统不在独立对象和具有相同外观的对象类的成员之间进行区分。

对于一些类型的对象，机器人可具有在其原型库116中存储的专用原型，并且使用关联的专用视觉感知算法。例如，可基于带上对象或者带本身的重复和连续动作来识别传送带，并且可照此基于其平整表面、矩形形状和纸板着色来识别纸板盒。类似的视觉检测算法可用于对象的各种其他特定类。在任何给定时间运行哪些算法来检测该算法相应范围内的对象，可取决于机器人的当前任务或者取决于其环境的特征。例如，机器人可能不需要在其环境中视觉地搜索纸板盒，除非其任务涉及将对象放置到盒内或者堆叠盒子。

除了检测和识别对象，机器人的感知系统还用来检测和/或识别人，其中人包括提供训练和/或在任务执行期间所需的信息的用户。在各个实施例中，机器人例如使用人脸检测和/或通过声纳的运动检测在其环境中连续地扫描人。另外，其控制逻辑假设在激活其按钮、触摸板、旋钮或者手腕套箍中的任何一个时，人是该激活的原因；可从机器人的自模型中所激活的控制的位置来估计人的位置。在训练期间，机器人可使用该信息将其屏幕208朝向人，并且随着该人在机器人工作空间中的移动跟在他周围。在执行模式下，例如使用关于人的位置的信息来避免碰撞，即保证安全操作。另外，除了仅检测人的存在，计算机视觉系统可例如基于人脸模板匹配来识别特定的用户。该能力可用于安全性，即保证仅授权用户访问机器人的控制系统和/或对用户修改访问权限。另外，该能力可用于基于与特定用户的之前的交互来调整用户-机器人交互。例如，如果在多个会话上的机器人训练涉及多个用户，则该机器人可在与一个特定用户交互的会话中，基于在之前的训练会话中用户中断的地方来建议下一个训练目标。

通常，用户-机器人交互涉及双向信息流。在各个实施例中，用户可例如机械地(例如，通过物理地移动机器人的手臂、轻敲机器人的肩膀或抓住机器人的手腕)或者在视觉上(例如，通过站在一个摄像机的视野中并且挥手、指向对象等)采用模仿人类交互的方式向机器人提供输入。另外地或者可选地，用户可通过操纵机器人的身体和附件上的专用机器人控制(例如，通过按压按钮、旋转旋钮等)和/或经由传统的用户输入装置(例如鼠标和键盘)输入信息和指令，来控制机器人。另外，在一些实施例中，机器人包括麦克风和语音识别软件，其允许机器人处理语音命令。无论以何种方式提供给机器人，用户输入由训练模块识别并且用于指导感知系统102，直到识别和分析(即，与现有原型比较，并且基于匹配或者通用原型进行实例化)出期望对象为止。如下文所述，用户输入还被用来指定对象属性。

相反地，机器人可向用户通知其内部状态，和/或经由其屏幕208和/或状态灯来请求输入。屏幕208可显示具有文本、窗口、图标等的传统图形用户界面，并且可选地或者同时地，显示用机器人生成的图形(例如，对象轮廓)选择性覆盖的一个或多个摄像机视图，其以直观的方式传递信息。在一些实施例中，机器人还被配置为机械地传递信息。例如，当用户移动机器人的手臂时，机器人可提供触觉反馈，例如警告用户与机器人的另一部分或者外部对象即将发生碰撞。此外，为提高用户体验，在一些实施例中，机器人通过从事类似人类的行为来通知其状态。例如，在任务执行期间，当机器人遇到需要进一步输入的意外情况时，该机器人可转动其头部，并且在其屏幕208上显示看上去困惑的脸。

在针对特定任务训练机器人的环境中，用户输入通常用于创建(任务、对象、地点等的)实例，并且填充实例中的槽。训练模块112可基于经由感知系统102对用户动作的观察来填充一些槽，并且基于明确的用户输入来填充一些槽。例如，要教导机器人拿起对象，训练员可从在屏幕208上显示的下拉菜单或列表中选择原始操作“拿起”的原型，并且接着使机器人手臂处于该对象上。接着，机器人的视觉系统检测该对象并且画出其轮廓。如果用户例如通过按压手腕套箍上的指定按钮来确认正确选择了对象，则训练模块112用该对象外观的适当的表示来建立通用对象原型的新实例。另外，训练模块112使用新对象实例来填充“拿起”实例的槽，其指示将要拿起的对象。训练模块112还建立拿起位置的实例，其默认为向机器人显示的对象的位置。刚创建的对象实例填充位置实例的槽，其指示在该位置可找到哪些对象，并且位置实例填充“拿起”实例中的槽，其指定在哪拿起对象。训练员然后向机器人展示如何相对于对象的视觉外观来夹持该对象。该过程可涉及由训练员对机器人夹持器和/或手指的操纵和手动调节；例如，训练员可确定机器人手指相对于对象的方向，并且按压按钮来打开或关闭该手指。可选地，机器人可以例如考虑由用户经由传统用户接口提供的反馈，来自己进行调节。例如，机器人可在对象的摄像机视图上显示“虚拟夹持器”，并且允许用户在屏幕上拖动该虚拟夹持器；接着，机器人基于虚拟夹持器相对于对象的摄像机视图的位置来调节其物理夹持器。

在一些实施例中，可在训练过程中的某些步骤可用的不同交互之间给训练员一个选择。例如，要指示将执行的任务或子任务的位置(例如，拿起或目的位置，或者用于测量对象属性的测试夹具)，用户可指向屏幕上的位置，或者可选地，将机器人手臂移动到该位置。要移动手臂，用户可抓住一个机器人手腕上的套箍，从而将机器人手臂转换成不受力重力补偿模式，在该模式下机器人控制器尝试使机器人手臂看上去具有零重力质量，并且响应于人通过套箍来拖动它而容易地移动。在一些实施例中，如果手臂具有多于六的自由度，用户还可以通过推动该手臂的任何一个链节来重新配置该手臂。再如，要教导机器人如何(例如在纸板盒中的阵列中)布置对象，用户可通过运动物理地指导该机器人，或者例如通过将对象的图形表示拖到屏幕上的虚拟纸板盒内，在视觉上传递期望的布置。根据这些示例可理解，对于不同的任务来说，不同类型的交互可能更好(例如，更方便、更精确等)。无论机器人-用户交互的细节如何，训练员在对象级、辅助设备级以及世界中的位置级与机器人一起工作，而不是指定机器人附件的坐标和轨迹；换句话说，该训练涉及应用和创建作用于不同环境和对象的任务级规则，而不是在特定任务实例之外不具有适用性的特定空间参数。另外，训练员不需要按正常执行的先后顺序来教导子任务，相反，他向机器人展示在特定情况下采取哪些动作，这导致创建了原型关联规则。

在机器人执行任务的期间，例如当机器人停止过程以等待进一步的指令时，或者当用户想要修改特定情况下的执行方式时，也可能发生与训练期间采用的那些用户交互类似的用户交互。由训练模块112将由用户提供的反馈转换为对任务关联规则的调节或修改。另外，在执行阶段，机器人的感知系统102通常以其在训练期间的相同方式进行操作，如检测对象、人、机械力等。尽管本文已经以视觉和机械感测(包括触摸和机械力)为重点描述了感知系统102，对于某些应用来说，该感知系统102还可以提供对于其他类型的物理输入(例如温度、电和磁场等)的感知能力，并且可在创建实例以及执行任务时采用这种输入。

5.机器人行为和任务执行

在有用工作的执行期间以及在训练期间，通常由任务执行模块110来控制机器人动作。通常，任务执行模块110并行地运行多个行为。在该上下文中，术语“行为”在提及“基于行为的机器人系统”时使用，并且通常表示与特定的机器人功能(例如，监控传感器的输入或者处理图像)相关的处理器可执行指令的集合，当被激活时，该机器人功能可以连续地操作，或者仅在某些情况下操作；通常，行为比任务更简单，并且事实上，由多个行为的交互来执行任务，其中一些行为连续地运行，并且当作为早前行为的结果的一些行为操作的前置条件变为有效时，触发一些行为。多个行为可通过向彼此发送消息(例如，数据或指令)来交互。通常，将每个行为作为面向对象配置中的自主过程来执行，并且每个行为具有分配给该行为的本地存储器。

通常，行为适于接收特定输入，并且提供特定输出作为计算和内部状态变化的结果。例如，可通过传感器(例如，感知系统102的传感器或外部传感器104)、由行为访问的数据结构或者从其他行为传递的参数来提供输入。例如，输出包括选择传感器的激活或停用的信号，或者对机器人控制器106执行特定的原始操作的请求。例如，行为可处理原始任务实例连同由该实例引用的对象的感测位置，以便实时动态地计算机器人可通过的轨迹，从而完成任务。机器人可确定运动的期望方向并且接着沿该方向移动附件，直到满足终止条件，以此来代替计算具有开始和结束坐标的完整轨迹。例如，为执行夹住对象的任务，机器人可沿垂直方向移动其手部和夹持器直到该夹持器接触到该对象，或者在其中机器人的手掌不应接触到该对象的顶部的情况下，沿垂直方向移动其手部和夹持器，直到该手部到达(要抓住的对象所坐落的)表面上的某个固定高度，使得当降低手部时手指将在该对象的任何一侧下降。在一些实施例中，任务执行系统基于当前位置、目标位置以及从视觉系统传入的信息，动态地计算和重新计算轨迹。

在某些实施例中，出于执行的目的，将每个行为组织成一个或多个“线程”，该一个或多个“线程”在任务执行模块110内的线程模块中并行地运行。本文中，“线程”是计算机代码的片段，其定义一个有限状态机(即，有限数量的状态，连同触发状态之间的转换的条件)。通常，线程等待与一组条件(通常很复杂)相匹配的输入条件，并且接着发起在控制机器人或者发送消息过程中的动作。有时，数以千计的线程同时运行，以便执行特定的任务，其中已训练机器人来执行该特定的任务。

在各个实施例中，每个机器人行为属于行为的两个通用类别中的一种：内置行为和行为实例，其中内置行为总是独立于任务在后台运行，并且行为实例耦合到实例化的原始任务和地点。例如，内置行为可以为人和机器人提供安全性、在适当的时候调用训练模块112，并且在检测到异常状况时或者出于例行维护的目的启动诊断。它们是与所有特定的任务并行操作的通用行为。由于它们的存在，用户不需要在机器人训练中包括错误处理程序。与之相比，工业机器人的传统控制系统通常需要在与特定任务相关联的程序代码内处理潜在的错误。

在某些实施例中，任务执行模块110连续地运行自碰撞预防行为，其防止机器人的手臂(或者更普遍地，附件)彼此碰撞或者与该机器人的其他部分碰撞。该行为将机器人的自模型用作输入。当用户向周围移动手臂时(其中在不受力重力补偿模式下握持其套箍)，自碰撞预防行为从零开始增加在手臂上的机器人生成的力，以抵销可能导致与机器人的另一部分碰撞的、由用户施加的任何力。随着用户引导的手臂或者其部分越来越接近机器人的另一部分或者手臂的另一部分，该抵抗性的机器人生成的力也逐渐增加。抵抗力扮演两个角色。首先，该抵抗力使得用户不可能或者几乎不可能导致碰撞，因为要导致碰撞，用户需要施加大于机器人能够生成的那些力的力。其次，该抵抗力给予用户触觉反馈，其隐式地表示她做得不对。每当任务执行模块110试着执行特定任务(例如，移动或操纵对象)时，自碰撞预防行为也是有效的，从而给出命令以便移动手臂的其他行为不再需要担心可能导致与例如第二手臂的碰撞。自碰撞预防行为保证手臂不会碰撞，其中，必要时在允许第一手臂的运动进行之前等待第二手臂让开，并且进一步地向请求行为传递需要等待的时段的信号，因此，如果需要，第一手臂可在此期间执行另一任务。

在某些实施例中，当任务执行系统110在运行时，一直有效的第二行为是碰撞检测行为，该碰撞检测行为检测手臂何时与外部对象(或人)意外碰撞。例如，可能发生与穿过机器人工作空间的人的意外碰撞，或者与已被移动到该工作空间内的对象的意外碰撞。为了促成碰撞检测，在一些实施例中，机器人手臂的关节包括能够测量相应关节上的力的串联弹性致动器。另外，任务执行模块110可维护每个手臂的前进动力学和动态模型，该模型使得模块110能够基于关于机器人运动的命令，预测应当在每个关节上测量的力的概况(profile)。当所测量的力明显偏离这些预测时，碰撞检测行为推断出与意外障碍物的碰撞。其立即停止所有运动、等待一个较短的时间段，并且接着恢复导致碰撞的运动，比先前更慢，以确定障碍物是否已被移除。如果意外碰撞不再发生，其允许任务执行模块110继续执行其任务。另一方面，如果在指定的最大等待时段之后对象没有消失，则碰撞检测行为关闭任务执行模块110，并且等待重新启动的用户指令。

进一步的内置行为结合了在感知系统102中运行的视觉算法。它们将(机器人被训练来识别的)对象的视觉描述传送给计算机视觉系统，并且在终端执行器不移动时激活与机器人手腕上的摄像机相关联的检测算法，以便查看是否有任何对象在终端执行器的下方。它们还可以激活胸部摄像机上的视觉算法，以监控环境中可使用手腕摄像机调查的任何变化。在当前的任务涉及特定的对象(例如纸板盒或传送机)时，其他行为结合对视觉算法的请求来寻找该对象。由于计算机视觉在计算上的开销较大，视觉行为通常采用优先方案，以基于情况和当前需求将计算时间分配给各个算法，其为机器人控制系统的所有其他模块留下了足够的计算能力。在识别了对象时，它们相对于机器人的在世界上的位置通常被广播给需要知道它们的任务执行模块中的所有其他行为(同样，其通常以面向对象的方式自主地执行)。这种在行为之间经由消息自动传播信息，是使得根据各个实施例的机器人能够将任务执行的细节调整为适于机器人本身和/或与该任务相关的对象的变化的位置的关键因素。在一些实施例中，在机器人的坐标系统中连续地跟踪相关对象，这允许实例化的原始任务使用当前对象位置来实时动态地生成机器人附件的轨迹。

通常，机器人控制系统可包括许多其他的内置行为，这些内置行为一直有效。例如，可使用专用行为来保证当用户模型报告附近存在人时，机器人正以安全的方式运行，以便例如通过控制内置灯来维护机器人的良好工作条件，和/或校准和/或维护机器人的校准。不同的实施例可根据其各自的应用需求，使用不同的内置行为。

第二类别的行为包括与实例化的原始任务、地点和/或其他类型的实例相对应的实例化行为。类似地，可包括在训练阶段管理机器人动作的内置行为。一些行为既用于训练，并且也在任务执行期间被使用；例如，用于移动终端执行器以便聚焦于在(安装在该移动终端执行器中的)摄像机的视图中的对象的行为，可用于在训练期间创建对象的实例，并且随后在任务执行期间识别和/或夹住该对象。可将该两用行为编程到训练模块112和任务执行模块110内，或者在一个合并模块中提供该两用行为。行为本身是行为原型或模板的实例。可在原型库116中存储模板，并在实例数据库114中存储它们的实例；然而，由于训练模块112通常不与行为交互，所以将行为模板和实例化的行为作为任务执行模块110的部分存储可能更好。

图7以用于移动对象的原始任务实例700为例，描述了行为和与其相关联的实例之间的关系。与实例700(作为具有关联的槽/属性的记录，存储在图1所示的实例数据库114中)相关联的行为702包括管理任务执行和错误处理的多个线程703；例如，(尽管实际上由系统处理器执行，但在概念上由任务执行模块110执行的)一个线程可监控机器人夹持器的状态，从而保证该夹持器实际上持有对象，并且另一个线程可根据来自第一线程的信号来启动运动。每个线程703能够访问实例700中所有的槽，该访问将行为702与实例700联系起来。线程703还能够访问共享存储器704。可在共享存储器704中放置例如从其他行为或者从传感器传入的消息706，并且可将在共享存储器704中存储的数据复制到传出的消息708中。

针对地点实例化的行为通常跟踪在相应的位置出现的对象。例如，与输出堆相关联的行为可以通过监控来自合适的“放下”行为实例的消息来维护堆叠的对象的数量的计数，该“放下”行为实例将堆作为放下对象的地点来引用。假设在训练期间，告知系统堆永远不应该超过十个对象的高度。那么，在堆叠了九个或者更少的物品时，实例化的堆行为通知实例化的放下行为可对其采取动作(即可在顶部堆叠另一个对象)。一旦放下行为用信号表示其已经成功地完成了操作，则堆行为更新其计数。当堆上有十个物品时，其告诉放下行为它满了，从而阻塞放下行为的进一步操作。然而，堆行为从视觉系统接收新输入，并且如果其接收到对象数量已改变的消息，其重置其计数。这样，机器人可以自动地将任务执行与人结合起来。其堆叠对象，直到达到指定的最大数量，并且接着停止堆叠，直到由机器人之外的某个实体(例如人)移除该对象，这时机器人恢复堆叠。类似的行为可用于例如监控在盒子中包装的对象的数量、在盒子中放置对象直到盒子被装满，以及当人类干预(例如，通过她自己将对象放置到盒子内或者从盒子中移除对象)时调整动作。

在其中可在多个位置创建堆(或包装盒子)的场景下，实例化的放下行为可访问那些位置的列表，这允许机器人在一个堆满了的时候，在其他位置中的一个位置继续堆叠对象。取决于哪个堆被移除，机器人可以仅基于在行为之间发送的消息，调整其动作并且改变其放置对象的地点。另外，假设如果在传送带上有多个不同种类的对象可用，则机器人可自动地修改其行为，以便见机在可用并且具有未满堆(或盒子)的任何对象上操作。因此，在任务执行期间，情况可决定精确的操作顺序。训练机器人的人既不需要指定操作顺序，也不需要使得确定执行期间的顺序的规则明确化(尽管训练员自由地修改机器人执行的行为)。相反，实例化的原始任务和地点，以及与它们相关联的行为，通过向彼此发送消息，得到对当前情况的智能响应。

为了进一步描述任务执行模块110内的各个行为如何协作，考虑在拿起和放下对象的原始任务的实例化行为之间的下列相互影响。假设机器人已被训练为识别特定类型的对象，(为便于参考)假设该对象是小部件。还假设训练员首先向机器人展示特定的地点并且教导其在该地点放下对象，并且接着他向机器人展示传送带并且教导该机器人拿起其在那里检测到的任何小部件。在各个实施例中，该场景导致实例化的拿起和放下行为，每个行为具有拥有多个填充槽的关联的实例化数据结构，并且接收来自其他行为及传感器系统的消息。换句话说，训练交互通过修改关联的槽值，导致特定机器人行为的规则级变化。

可将行为的线程编写为任务执行模块的部分，以使该行为充当具有相应的前置条件和后置条件的规则。例如，拿起行为的前置条件包括：机器人的手部或者夹持器是空的、在训练时其在传送机的大致位置的上方(该位置存储在实例化数据结构的槽中)，以及传送机上的小部件可用(在数据结构的槽中指定了该小部件本身)。当满足所有三个前置条件时，拿起行为发起在(作为感知系统102的部分的)视觉系统和机器人控制器106之间的耦合对象跟踪操作。一旦这两个系统组件报告正在跟踪对象(例如，在由机器人手部中的摄像机提供的视图中)，拿起行为使得机器人控制器向下移动机器人手部，并且在对象周围闭合其手指。如果行为在任何时候接收到跟踪丢失的消息，该行为的清除线程将手部送回到传送机上的适当高度，并且等待另一个对象到来。

一旦机器人控制器报告在手指之间抓住某物(例如，基于对手指之间的距离的测量，或者基于对超过设置阈值的力的测量)，拿起行为发送手部持有小部件的消息(由于“小部件”是拿起实例中指定的对象的类型)。由放下行为接收该消息满足该行为的两个前置条件：其现在知道机器人手部持有对象，并且该对象是小部件。因此，并不是基于对当前对象的直接感知，而是从(仔细编写的)拿起行为的状态来推断出满足放下行为的前置条件，其假设如果在拿起行为的前置条件下已成功操作，则机器人的手部中存在小部件，并且该行为发送带有这个意思的消息。为保证继续满足放下行为的前置条件，机器人控制器向放下行为连续发送手指间隔的状态；因此，在到达放下的位置之前，如果机器人意外地丢下了对象，或者如果一个人出现并将对象从机器人的手部取出，则不再满足其中的一个前置条件，并且放下行为因此不试着在目的位置处堆叠不存在的小部件。另一方面，如果在到达目的地(其存储在关联数据结构实例中)时仍满足前置条件，则放下行为激活并且使得机器人在指定的位置放下小部件。以这种方式，即使在训练期间按不同的顺序向任务执行模块110教导了这些操作，但任务执行模块110可通过首先拿起小部件并且接着放下它们来移动该小部件。更复杂的任务(例如，涉及对对象进行称重和分类的任务)可包括更多的步骤，类似地，可按任何顺序来教导该步骤，而不会影响以后正确执行该任务。

描述各个实施例中的任务执行的灵活性的另一个示例涉及一个机器人，该机器人已被训练为用其左手臂从传送带拿起小部件并且将它们放置在其右手臂够得着的地方，并且接着用右手臂拿起小部件并且将它们放置到盒子中。在执行该任务的期间，如果人将对象放置在右手臂拿起小部件的位置，只要机器人能在视觉上将该对象识别为小部件，则其也包装该对象。用这种方法，机器人能够见机对其环境进行响应。

相应地，本发明的各个实施例在训练和操作机器人执行诸如移动和操纵对象的任务时，提供高度的灵活性。一旦已教导机器人关于任务的所有独立组件或者与该任务相关的物品(例如，与所需的机器人运动相对应的原始任务、将要操纵的对象等)，该机器人可以自主地操作。当机器人看到其已被训练来操纵的对象时，触发其动作。由于机器人使用计算机视觉将机器人手臂和手部移动到对象的精确位置，因此其通常能够在其中机器人和对象的位置变化的世界中操作。另外，由于机器人仅对其识别的对象采取动作，因此能够通过将其已被训练来交互的对象和与其任务不相关的对象相区分，来在杂乱的环境中操作，在该环境中对象不断地来来往往。机器人还可以调整其操作以适于环境中对象的参数。例如，当机器人的任务涉及从传送带拿起对象，该机器人在视觉上跟踪移动带上的对象，并且独立于传送带的速度、其方向以及甚至其操作的方向，准确地抓住它们。

此外，由于机器人已被训练为对特定的情况进行响应，因此不需要盲目地遵从特定的操作序列。机器人经由外部传感器104连续地感测其周围的世界，并且基于与实例化的行为相关联的前置条件和后置条件的评价来相应地修改其动作。例如，如果人干预并从机器人的夹持器移除对象，则该机器人感测到该变化并且不再像对象在那里一样继续移动。相反，机器人例如通过移动到其期望发现要抓住的新对象的位置，返回以空夹持器为条件的任务的部分。当然，如果期望以这种方式约束机器人对任务的执行，则依据本发明的系统和方法不一定排除指定操作的特定顺序。在一些实施例中，用户在训练期间有机会通过在教导独立的原始任务时遵守原始任务的序列，或者如果在训练期间按任意的顺序教导原始任务，则通过经由用户接口直接输入顺序(例如通过调整在屏幕上显示的原始任务的编号列表)，来指定该原始任务的序列。可选地，可将组成复杂任务的步骤的顺序硬编码到该复杂任务的原型内。

机器人控制系统还具有内置的错误检测，以及用于从多个可能检测到的错误中恢复的程序化方法，这消除了对训练员向机器人展示如何处理错误状况的需要。除了训练员在训练时包括(在某些情况下她可能想要执行的)特定的错误处理程序，机器人使用其默认值，并且能够安全地继续操作以及从错误中恢复。

本文采用的术语和语句被用作说明书的术语和语句而不是用于限制，并且在使用该术语和语句时，没有排除所展示和描述的特征或其部分的任何等价物的意图。此外，在描述了本发明的某些实施例后，可使用结合本文公开的概念的其他实施例而不会背离本发明的精神和范围，对于本领域普通技术人员来说是显而易见的。特别地，本发明的实施例不需要包括本文描述的所有特征或者具有所有优点。相反，它们可以具有特征和优点的任何子集或者组合。因此，无论从哪一点来看，所描述的实施例仅被认为是示意性的而非限制性的。

Claims (23)

1.一种能够经由与人类训练员的交互被训练来操纵对象的机器人，所述机器人包括：

至少一个附件，用于操纵对象；

控制器，用于操作所述至少一个附件；

计算机存储器，用于存储原型库，至少一个原型定义将由所述附件执行的任务的类型，所述任务包括所述附件的移动或者对对象的操纵中的至少一个；

感知系统，用于从所述人类训练员接收与所述任务相关的物理输入；

训练模块，用于基于所述物理输入通过指定所述至少一个原型的至少一个属性来创建所述至少一个原型的实例；以及

任务执行模块，用于经由对所述控制器的命令来执行所述原型的实例，从而导致所述附件执行所述任务；

其特征在于：

其中所述实例用所述附件的空间未指定的运动来定义所述任务以及所述运动是在不指定所述附件的空间坐标和轨迹的情况下定义的。

2.根据权利要求1所述的机器人，其中，所述实例用所述附件相对于对象或者其环境中的至少一个的运动来定义所述任务。

3.根据权利要求1所述的机器人，其中，所述物理输入包括机械输入或者视觉输入中的至少一个。

4.根据权利要求1所述的机器人，还包括响应于所述训练模块的至少一个输出装置，用于向所述训练员提供任务相关的反馈。

5.根据权利要求4所述的机器人，其中，所述反馈包括机器人状态的指示、对进一步的输入的请求，或者错误警报中的至少一个。

6.根据权利要求4所述的机器人，其中，所述反馈包括在机器人摄像机视图上覆盖的图形。

7.根据权利要求1所述的机器人，其中，所述感知系统包括能够按压的按钮、旋钮、触摸感应板、触摸感应套箍或者摄像机中的至少一个。

8.根据权利要求1所述的机器人，其中，所述原型库还包括定义对象类、设备类型或者位置中的至少一个的原型。

9.根据权利要求8所述的机器人，其中，所述训练模块基于关于对象类的成员的视觉输入，来创建对象类的实例。

10.根据权利要求8所述的机器人，其中，受操纵的对象是由实例引用的对象的类的成员。

11.根据权利要求1所述的机器人，其中，所述感知系统还被配置为接收关于对象或者其环境的物理信息。

12.根据权利要求1所述的机器人，其中，所述控制器被配置为响应于所述物理输入，在不受力重力补偿模式下操作。

13.一种基于与人类训练员的交互的机器人学习的方法，所述方法包括:

从训练员接收关于将由机器人执行的任务的物理输入；

响应于并且至少部分基于所述输入，从存储的原型的库中选择与所述任务相关联的原型，以及在数据库中创建和存储该原型的实例，所述实例指定机器人的附件的移动或者将对对象执行的机器人操纵中的至少一个；

其特征在于：

其中所述实例用所述附件的空间未指定的运动来定义所述任务以及所述运动是在不指定所述附件的空间坐标和轨迹的情况下定义的。

14.根据权利要求13所述的方法，还包括基于所述物理输入指定所述实例的至少一个属性。

15.根据权利要求13所述的方法，其中，所述物理输入包括机械输入或者视觉输入中的至少一个。

16.根据权利要求13所述的方法，其中，接收物理输入包括感测与所述训练员或者对象中的至少一个的物理接触。

17.根据权利要求13所述的方法，其中，接收物理输入包括当由所述训练员移动机器人附件时，跟踪该附件的位置。

18.根据权利要求13所述的方法，其中，接收物理输入包括捕获所述训练员、对象或者环境中的至少一个的图像。

19.根据权利要求13所述的方法，还包括向所述训练员提供反馈。

20.根据权利要求19所述的方法，其中，所述反馈包括指示机器人的状态、从所述训练员请求额外输入或者向所述训练员发出错误警报中的至少一个。

21.根据权利要求19所述的方法，其中，提供反馈包括在机器人摄像机视图上覆盖图形。

22.根据权利要求19所述的方法，其中，所述反馈包括触觉反馈。

23.根据权利要求19所述的方法，还包括响应于并且至少部分基于所述输入，选择定义对象类的原型，以及实例化该原型以便在存储器中创建对象的表示。