CN116867611A - 融合静态大视场和高保真度可移动传感器用于机器人平台 - Google Patents

Abstract

一种方法包括从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示该移动机器人设备的环境的一个或多个图像，其中该至少两个固定相机具有围绕该移动机器人设备的组合的360度水平视场。该方法进一步包括从一个或多个图像确定移动机器人设备的环境中对象的存在。该方法附加地包括控制移动机器人设备的可移动传感器布置向对象移动，其中可移动传感器布置包括移动机器人设备上的至少一个可移动相机。该方法还包括从可移动传感器布置的至少一个可移动相机接收表示该对象的一个或多个附加图像。

Description

融合静态大视场和高保真度可移动传感器用于机器人平台

相关申请的交叉引用

本申请要求2020年11月30日提交的美国专利申请No.17/106,906的优先权，该申请通过引用以其整体结合到本申请中。

背景技术

随着技术的进步，正在产生各种类型的机器人设备用于执行可以辅助用户的各种功能。机器人设备可以用于涉及材料处理、运输、焊接、组装和分发等的应用。随着时间的推移，这些机器人系统的操作方式变得更加智能、高效和直观。随着机器人系统在现代生活的许多方面变得越来越普遍，期望机器人系统是高效的。因此，对高效机器人系统的需求有助于在致动器、移动、传感技术以及组件设计和组装方面开辟创新领域。

发明内容

示例实施例涉及机器人设备上的专用感测系统。机器人设备可以配备有静态传感器布置和可移动传感器布置。静态传感器布置可以组合用于360度水平视场的相机，并且可以便于检测机器人设备的环境中对象的存在。可移动传感器布置可以由机器人设备控制，以获得表示对象的一个或多个附加图像。

在一实施例中，该方法包括从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示移动机器人设备的环境的一个或多个图像，其中至少两个固定相机中的每一个的视场与该至少两个固定相机中不同的一个相机的视场重叠，并且其中该至少两个固定相机具有围绕移动机器人设备的组合的360度水平视场。该方法进一步包括从一个或多个图像确定移动机器人设备的环境中对象的存在。该方法附加地包括控制移动机器人设备的可移动传感器布置向对象移动，其中可移动传感器布置包括移动机器人设备上的至少一个可移动相机。该方法还包括从可移动传感器布置的至少一个可移动相机接收表示对象的一个或多个附加图像。

在另一个实施例中，机器人设备包括具有至少两个固定相机的静态传感器布置、具有至少一个相机的可移动传感器布置和控制系统。该控制系统可以被配置为从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示移动机器人设备的环境的一个或多个图像，其中至少两个固定相机中的每一个的视场与该至少两个固定相机中不同的一个相机的视场重叠，并且其中该至少两个固定相机具有围绕移动机器人设备的组合的360度水平视场。控制系统可以进一步被配置为从一个或多个图像确定移动机器人设备的环境中对象的存在。控制系统可以附加地被配置为控制移动机器人设备的可移动传感器布置向对象移动，其中可移动传感器布置包括移动机器人设备上的至少一个可移动相机。控制系统还可以被配置为从可移动传感器布置的至少一个可移动相机接收表示对象的一个或多个附加图像。

在另一个实施例中，提供了一种非暂时性计算机可读介质，其包括可由至少一个处理器执行以使该至少一个处理器执行功能的编程指令。这些功能包括从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示移动机器人设备的环境的一个或多个图像，其中至少两个固定相机中的每一个的视场与该至少两个固定相机中不同的一个相机的视场重叠，并且其中该至少两个固定相机具有围绕移动机器人设备的组合的360度水平视场。这些功能进一步包括从一个或多个图像确定移动机器人设备的环境中对象的存在。这些功能附加地包括控制移动机器人设备的可移动传感器布置向对象移动，其中可移动传感器布置包括移动机器人设备上的至少一个可移动相机。这些功能还包括从可移动传感器布置的至少一个可移动相机接收表示对象的一个或多个附加图像。

在另一实施例中，提供了一种系统，该系统包括用于从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示移动机器人设备的环境的一个或多个图像的部件，其中至少两个固定相机中的每一个的视场与该至少两个固定相机中不同的一个相机的视场重叠，并且其中该至少两个固定相机具有围绕移动机器人设备的组合的360度水平视场。该系统进一步包括用于从一个或多个图像确定移动机器人设备的环境中对象的存在的部件。该系统附加地包括用于控制移动机器人设备的可移动传感器布置向对象移动的部件，其中可移动传感器布置包括移动机器人设备上的至少一个可移动相机。该系统还包括用于从可移动传感器布置的至少一个可移动相机接收表示对象的一个或多个附加图像的部件。

前面的概述仅仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性的方面、实施例和特征之外，通过参考图和以下详细描述以及附图，进一步的方面、实施例和特征将变得明显。

附图说明

图1图示了根据示例实施例的机器人系统的配置。

图2图示了根据示例实施例的移动机器人。

图3图示了根据示例实施例的移动机器人的分解图。

图4图示了根据示例实施例的机器人臂。

图5是根据示例实施例的涉及两个相机的静态传感器布置的俯视图。

图6是根据示例实施例的涉及三个相机的静态传感器布置的俯视图。

图7是根据示例实施例的涉及三个相机的另一静态传感器布置的俯视图。

图8A是根据示例实施例的机器人设备的侧视图。

图8B是根据示例实施例的具有固定感知组件的机器人设备的侧视图，该固定感知组件包括立体相机对。

图9A是根据示例实施例的环境中的机器人设备的俯视图。

图9B是根据示例实施例的环境中的另一机器人设备的俯视图。

图10是根据示例实施例的方法的框图。

具体实施方式

这里描述了示例方法、设备和系统。应当理解，这里使用的词语“示例”和“示例性的”意味着“用作示例、实例或说明”。这里描述为“示例”或“示例性”的任何实施例或特征不一定被解读为优选于或优于其他实施例或特征，除非如此指明。在不脱离这里呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。

因此，这里描述的示例实施例不意味着是限制性的。将容易理解的是，如这里一般描述的和在附图中图示出的，本公开的方面可以以多种不同的配置来布置、替换、组合、分离和设计。

在整个说明书中，冠词“一”或“一个”用于介绍示例实施例的要素。任何对“一”或“一个”的引用都是指“至少一个”，任何对“该”的引用都是指“该至少一个”，除非另有说明，或者除非上下文另有明确规定。在所描述的至少两个术语的列表中使用连词“或”的意图是指示任何所列术语或所列术语的任何组合。

诸如“第一”、“第二”、“第三”等序数的使用是为了区分各个元件，而不是表示这些元件的特定顺序。出于描述的目的，术语“多个”和“多种”指的是“两个或更多”或“一个以上”。

此外，除非上下文另有暗示，否则每个图中所图示的特征可以彼此结合使用。因此，附图通常应被视为一个或多个总体实施例的组成方面，应理解并非所有图示出的特征对于每个实施例都是必要的。在附图中，类似的符号通常标识类似的组件，除非上下文另有指示。此外，除非另有说明，附图不是按比例绘制的，仅用于说明目的。此外，附图仅是表示性的，并未示出所有组件。例如，可能未示出附加的结构或约束组件。

此外，本说明书或权利要求中的元件、块或步骤的任何列举都是为了清楚的目的。因此，这种列举不应被解释为要求或暗示这些元件、块或步骤遵循特定的布置或以特定的顺序执行。

I.概述

机器人设备用于各种应用以简化(streamline)流程(诸如材料处理、运输、组装和制造)。这些应用中的许多通常发生在受控和可预测的环境中。这些环境中的机器人设备在执行任务时可能不需要完全意识到周围和周围的改变。在这些应用中，机器人设备可能主要具有传感器来监视正在执行的任务的各个方面。例如，机器人设备可以被赋予移动对象的任务。在这种应用中，机器人设备可以主要依靠机器人设备的臂端的相机来提供关于对象的信息，并且可能提供对周围的初步审视。可以控制位于机器人设备的臂端和/或臂处的相机移动，以观察对象的属性。此外，相机和臂的系统可以联合移动以执行任务并观察正在执行的任务。当所述夹具被用于操纵对象时，位于臂端的相机可以向机器人设备提供关于如何移动臂和相关联的夹具的信息。这些观察可能主要限于手头任务的各个方面，可能不包括对机器人周围的一般观察。

随着技术的进步，对于越来越少结构化情境的应用，尤其是在具有人类交互的应用中，机器人系统的复杂性正在增加。在这种情形下，环境可能会以多种方式持续地改变，使机器人难以完成要求的任务。例如，机器人设备可能被赋予将书从桌子上移到人面前的任务。为了执行这样的任务，机器人设备可以首先在其周围找到人，然后找到书，并且随后观察其周围以寻找可行的行进路径。机器人设备可以使用其传感器来监视书，拾取书，并根据确定的路径移动书。然而，当机器人设备移动时，人类可能将一杯水放置在移动的机器人臂旁边。由于机器人设备的传感器正在监视书，并且水杯的放置可能在机器人设备的传感器的视场之外，所以机器人设备的臂可能导致水杯翻倒并且水溢出。在另一个示例中，人类可能持续移动。在不持续监视人类的位置的情况下，机器人设备可能难以确定书的最终目的地。因此，可能期望机器人设备能够大体上监视环境，同时能够详细观察环境的要素。

这里提供了包括移动机器人设备上的固定传感器的布置，其提供围绕机器人设备的360度水平视场。在一些示例中，机器人设备可以具有固定感知组件和臂端组件，可以移动后者以执行任务，例如操纵对象。为了给机器人设备提供信息，固定组件和臂端组件都可以包含各种传感器布置。例如，固定组件和臂端组件可以给予机器人设备关于周围的信息，这可以协助机器人设备如何操纵对象和在周围中移动。

固定感知组件可以包括静态传感器布置，其可以涉及至少两个固定相机，其中相机具有围绕机器人设备的组合的360度水平视场。这里的相机可以指包括成像传感器和相关联的镜头的设备，并且取决于机器人设备和相机本身的位置，能够捕获表示环境的某个部分的信息。传感器或传感器布置的视场可以由指示相对于360度圆的度数的数字来定义。传感器或传感器布置的视场与在任何提供的时刻可以看到机器人设备周围的程度有关。例如，传感器可以具有180度水平视场。这种传感器可以向机器人设备提供在传感器的垂直视场内的周围一半的视图。在另一个示例中，具有360度水平视场的传感器布置可以向机器人设备提供落入传感器的垂直视场内的其周围的所有方面。

静态传感器布置可以包括至少两个具有重叠视场的固定相机，其中每个重叠视场是不同的，以便提供组合的360度水平视场。在一些示例中，机器人设备可以具有水平视场大于180度的两个相机。传感器可以被布置成使得它们提供关于机器人设备周围的不同部分的信息，但是在图像的垂直边缘上彼此重叠。例如，相机可以彼此对齐，但是聚焦于周围的相反视图。在一些这样的示例中，运行在计算设备上的软件可以使用重叠的垂直边缘来从两个传感器捕获的信息构建完整的360度视场。

在进一步的示例中，机器人设备可以具有四个相机，其中四个相机中的每一个都具有大于90度的水平视场。四个相机可以被布置成提供围绕同一水平面但是表示机器人设备周围的不同部分的信息。所表示的部分在图像的垂直边缘上可能具有重叠的场景。例如，四个相机可以布置成正方形，其中四个相机中的每一个都指向正方形的角。机器人设备的计算设备上的软件程序能够使用重叠区域来构建周围的完整的360度水平视场。上面提供的布置旨在作为示例，而不是限制性的。其他布置也是可能的。例如，三个视场大于120度的相机各自被布置成指向等边三角形的不同角，五个视场大于72度的相机各自被布置成指向五边形的不同角，以及其他示例也是可能的。

在进一步的示例中，其中相机各自具有不同的视场的静态传感器布置也是可能的。例如，传感器布置可以由一个视场大于180度的相机和两个视场大于90度的相机组成。在这种情况下，每个相机可以布置成三角形，其中三个相机中的每一个指向等腰三角形的一个角。在这种情况下，视场大于180度的相机可以与视场大于90度的相机中的每一个距离相同，使得图像的每个垂直边缘与从另一个相机拍摄的图像的垂直边缘重叠。类似于以上示例，计算设备上的软件程序能够使用重叠区域来构建静态传感器布置周围的完整360度水平视场。使用具有不同视场的相机的其他布置也是可能的。

在进一步的示例中，静态传感器布置可以进一步利用多对彼此垂直对齐的相机，从而产生立体相机对。从顶部相机提供的图像的底部部分可以与从底部相机提供的图像的顶部部分重叠。然后，可以类似于上述的单个相机来布置立体对。具体而言，每个立体对可以与一个或多个其他立体对重叠，以向机器人设备提供360度视场。例如，每个具有大于180度的水平视场的四个相机，可以被布置为垂直成对组织的两个相机，其中每个垂直对齐的对具有与单个相机相同的180度的水平视场。然后，每对相机可被布置为指向周围的相对两端，并提供具有与一个或多个其他对重叠的垂直边缘的深度图像。因此，布置成两个立体对的四个相机可以在水平上可以具有360度的视场。涉及单个相机的其他上述几何形状同样可以以类似的方式使用立体相机对。

在立体对的情况下，垂直边缘重叠的面积和水平边缘重叠的面积可能取决于传感器的几何形状和视场而变化。一般来说，除了其他优点之外，增加的重叠可以导致更准确的深度感知。因此，垂直立体相机对的布置可以比仅具有垂直边缘重叠的相机的布置提供更准确的深度感知。

静态传感器布置可以用于获得机器人设备周围的概观。机器人设备可以采用可移动的传感器布置来提供对周围的特定部分的更高分辨率的观察。可移动传感器布置可以包括移动机器人设备上的至少一个可移动相机。与静态传感器布置相比，移动机器人设备上的至少一个可移动相机可以具有更小的视场和更高的角分辨率。在一些示例中，可移动相机可以是RGB相机。在进一步的示例中，可移动传感器布置可以在机器人设备的臂端组件上。臂端组件可以进一步包括照明源。

在一些应用中，静态传感器布置可以用于监视机器人设备的周围，并提供关于任何改变的信息。可移动传感器布置可以用于获得关于周围的更具体和详细的信息。例如，可以要求机器人设备将桌子上的对象(例如，书)交给行走过程中的人。静态传感器布置可以用于获得关于书的位置和周围的人的位置的一般信息。可以位于机器人设备的臂端组件上的可移动传感器布置，可以单独移动或者与机器人设备的其他移动一起移动，以更详细地观察书。然后，臂端组件可以移动以拾取书，并向行走过程中的人移动。具有360度视场的静态传感器布置可以用于持续观察人的运动。然后，机器人设备可以向人的更新位置移动，以将书交给人。

在一些示例中，具有360度水平视场的静态传感器布置可以监视周围，但是间歇地将更高分辨率的成像和功能转移(offload)到机器人设备的可移动传感器布置。例如，当机器人被赋予拾取对象的任务时，针对这种对象的存在而分析来自静态传感器布置的数据。可以控制机器人设备的臂来接近对象，使得可移动传感器布置可以更详细地观察对象。这种混合分辨率感测系统可能比仅具有可移动传感器布置的系统更有效。

II.示例机器人系统

图1图示了可以结合这里描述的实现方式使用的机器人系统的示例配置。机器人系统100可以被配置为自主地、半自主地或者使用(多个)用户提供的指示来操作。机器人系统100可以以各种形式实现，诸如机器人臂、工业机器人或一些其他布置。一些示例实现方式涉及机器人系统100，该机器人系统100被工程化为在规模上是低成本的，并且被设计成支持各种任务。机器人系统100可以被设计成能够在人周围操作。机器人系统100也可以针对机器学习进行优化。在整个说明书中，机器人系统100也可以被称为机器人、机器人设备和/或移动机器人以及其他名称。

如图1所示，机器人系统100可以包括(多个)处理器102、数据存储装置104和(多个)控制器108，它们一起可以是控制系统118的一部分。机器人系统100还可以包括(多个)传感器112、(多个)电源114、机械组件110和电气组件116。尽管如此，机器人系统100是为了说明的目的而图示的，并且可以包括更多或更少的组件。机器人系统100的各种组件可以以任何方式连接，包括通过有线或无线连接。此外，在一些示例中，机器人系统100的组件可以分布在多个物理实体中，而不是单个物理实体中。机器人系统100的其他示例图示也可以存在。

(多个)处理器102可以作为一个或多个通用硬件处理器或专用硬件处理器(例如，数字信号处理器、专用集成电路等)操作。(多个)处理器102可以被配置为执行计算机可读程序指令106和操纵数据107，这两者都存储在数据存储装置104中。(多个)处理器102还可以直接或间接地与机器人系统100的其他组件交互，诸如(多个)传感器112、(多个)电源114、机械组件110或电气组件116。

数据存储装置104可以是一种或多种类型的硬件存储器。例如，数据存储装置104可以包括或采取可以由(多个)处理器102读取或访问的一个或多个计算机可读存储介质的形式。一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件，诸如光、磁、有机或另一种类型的存储器或存储装置，它们可以整体或部分地与(多个)处理器102集成。在一些实现方式中，数据存储装置104可以是单个物理设备。在其他实现方式中，数据存储104可以使用两个或更多物理设备来实现，这些物理设备可以经由有线或无线通信彼此通信。如前所述，数据存储装置104可以包括计算机可读程序指令106和数据107。数据107可以是任何类型的数据，诸如配置数据、传感器数据或诊断数据，以及其他可能性。

控制器108可以包括一个或多个电路、数字逻辑单元、计算机芯片或微处理器，其被配置为(可能在其他任务中)在机械组件110、(多个)传感器112、(多个)电源114、电气组件116、控制系统118或机器人系统100的用户的任何组合之间进行接口。在一些实现方式中，控制器108可以是专门构建的嵌入式设备，用于利用机器人系统100的一个或多个子系统执行具体操作。

控制系统118可以监视并物理改变机器人系统100的操作条件。这样，控制系统118可以用作机器人系统100的各部分之间的链接，诸如机械组件110或电气组件116之间的链接。在一些情况下，控制系统118可以用作机器人系统100和另一个计算设备之间的接口。此外，控制系统118可以用作机器人系统100和用户之间的接口。在一些情况下，控制系统118可以包括用于与机器人系统100通信的各种组件，包括操纵杆、按钮或端口等。上面提到的示例接口和通信可以通过有线或无线连接或者两者来实现。控制系统118也可以为机器人系统100执行其他操作。

在操作期间，控制系统118可以经由有线和/或无线连接与机器人系统100的其他系统通信，并且还可以被配置为与机器人的一个或多个用户通信。作为一个可能的说明，控制系统118可以接收输入(例如，来自用户或来自另一个机器人)，该输入指示执行所请求的任务的指令，诸如从一个位置拾取对象并将其移动到另一个位置。基于该输入，控制系统118可以执行操作以使机器人系统100进行一系列移动来执行所请求的任务。作为另一个说明，控制系统可以接收指示移动到所请求位置的指令的输入。作为响应，控制系统118(可能在其他组件或系统的辅助下)可以确定移动机器人系统100通过在途中的环境到所请求位置的方向和速度。

控制系统118的操作可以由(多个)处理器102执行。可替换地，这些操作可以由(多个)控制器108或者(多个)处理器102和(多个)控制器108的组合来执行。在一些实现方式中，控制系统118可以部分或全部位于机器人系统100之外的设备上，因此可以至少部分地远程控制机器人系统100。

机械组件110表示机器人系统100的硬件，其可以使机器人系统100能够执行物理操作。作为几个示例，机器人系统100可以包括一个或多个物理构件，例如臂、末端执行器、头部、颈部、躯干、基座和轮子。机器人系统100的物理构件或其他部分还可以包括被布置成相对于彼此移动物理构件的致动器。机器人系统100还可以包括用于容纳控制系统118或其他组件的一个或多个结构化身体，并且还可以包括其他类型的机械组件。给定机器人中使用的特定机械组件110可以基于机器人的设计而变化，也可以基于机器人可以被配置来执行的操作或任务而变化。

在一些示例中，机械组件110可以包括一个或多个可移除组件。机器人系统100可以被配置为添加或移除这样的可移除组件，这可能涉及来自用户或另一个机器人的辅助。例如，机器人系统100可以配置有可移除的末端执行器或趾(digit)，其可以根据需要或期望被替换或改变。在一些实现方式中，机器人系统100可以包括一个或多个可移除或可替换的电池单元、控制系统、电源系统、缓冲器或传感器。在一些实现方式中，可以包括其他类型的可移除组件。

机器人系统100可以包括被布置成感测机器人系统100的各方面的(多个)传感器112。(多个)传感器112可以包括一个或多个力传感器、扭矩传感器、速度传感器、加速度传感器、定位传感器、接近传感器、运动传感器、位置传感器、负载传感器、温度传感器、触摸传感器、深度传感器、超声测距传感器、红外传感器、对象传感器，或相机，以及其他可能性。在一些示例中，机器人系统100可以被配置为从物理上与机器人分离的传感器(例如，位于其他机器人上或者位于机器人在操作的环境内的传感器)接收传感器数据。

(多个)传感器112可以向(多个)处理器102提供传感器数据(可能通过数据107)，以允许机器人系统100与其环境交互，以及监视机器人系统100的操作。传感器数据可以用于控制系统118对机械组件110和电气组件116的启动、移动和停用的各种因素的评估。例如，(多个)传感器112可以捕获对应于环境的地形或附近对象的位置的数据，这可以辅助环境辨识和导航。

在一些示例中，(多个)传感器112可以包括RADAR(例如，用于长距离对象检测、距离确定或速度确定)、LIDAR(例如，用于短距离对象检测、距离确定或速度确定)、SONAR(例如，用于水下对象检测、距离确定或速度确定)、(例如，用于运动捕获)、一个或多个相机(例如，用于3D视觉的立体相机)、全球定位系统(GPS)收发器，或用于捕获机器人系统100正在操作的环境的信息的其他传感器。(多个)传感器112可实时监视环境，并检测障碍物、地形要素、天气条件、温度或环境的其他方面。在另一个示例中，(多个)传感器112可以捕获对应于目标或识别的对象的一个或多个特性的数据，诸如对象的大小、形状、轮廓、结构或定向。

此外，机器人系统100可以包括被配置为接收指示机器人系统100的状态的信息的(多个)传感器112，包括可以监视机器人系统100的各种组件的状态的(多个)传感器112。(多个)传感器112可以测量机器人系统100的系统的活动，并接收基于机器人系统100的各种特征的操作的信息，诸如机器人系统100的可延伸臂、末端执行器或其他机械或电气特征的操作。由(多个)传感器112提供的数据可以使控制系统118能够确定操作中的误差，以及监视机器人系统100的组件的整体操作。

作为示例，机器人系统100可以使用力/扭矩传感器来测量机器人系统100的各种组件上的负载。在一些实现方式中，机器人系统100可以在臂或末端执行器上包括一个或多个力/扭矩传感器，以测量移动臂或末端执行器的一个或多个构件的致动器上的负载。在一些示例中，机器人系统100可以在手腕或末端执行器处或附近但是不在机器人臂的其他关节处或附近包括力/扭矩传感器。在进一步的示例中，机器人系统100可以使用一个或多个定位传感器来感测机器人系统的致动器的定位。例如，这种定位传感器可以感测臂或末端执行器上的致动器的伸出、缩回、定位或旋转状态。

作为另一个示例，(多个)传感器112可以包括一个或多个速度或加速度传感器。例如，(多个)传感器112可以包括惯性测量单元(IMU)。IMU可以感测世界坐标系中相对于重力向量的速度和加速度。然后，基于机器人系统100中IMU的位置和机器人系统100的运动学，可以将由IMU感测的速度和加速度转变成机器人系统100的速度和加速度。

机器人系统100可以包括这里没有明确讨论的其他类型的传感器。附加地或替代地，机器人系统可以使用特定的传感器用于这里没有列举的目的。

机器人系统100还可以包括被配置为向机器人系统100的各种组件供电的一个或多个电源114。在其他可能的动力系统中，机器人系统100可以包括液压系统、电气系统、电池或其他类型的动力系统。作为示例说明，机器人系统100可以包括被配置为向机器人系统100的组件提供电荷的一个或多个电池。一些机械组件110或电气组件116可以各自连接到不同的电源，可以由相同的电源供电，或者由多个电源供电。

任何类型的电源都可以用于给机器人系统100供电，诸如电力或汽油发动机。附加地或替代地，机器人系统100可以包括液压系统，该液压系统被配置为使用流体动力向机械组件110提供动力。例如，机器人系统100的组件可以基于通过液压系统传输到各种液压马达和液压缸的液压流体进行操作。液压系统可以通过管道、柔性软管或机器人系统100的组件之间的其他链接以加压液压流体的方式传递液压动力。(多个)电源114可以使用各种类型的充电来充电，诸如到外部电源的有线连接、无线充电、燃烧或其他示例。

电气组件116可以包括能够处理、传输或提供电荷或电信号的各种机构。在可能的示例中，电气组件116可以包括电线、电路或无线通信发射器和接收器，以实现机器人系统100的操作。电气组件116可以与机械组件110交互工作，以使机器人系统100能够执行各种操作。例如，电气组件116可以被配置为从(多个)电源114向各种机械组件110提供电力。此外，机器人系统100可以包括电动机。也可以存在电气组件116的其他示例。

机器人系统100可以包括身体，该身体可以连接到或容纳机器人系统的附件和组件。这样，身体的结构可以在示例中变化，并且可以进一步取决于给定机器人可能已经被设计来执行的特定操作。例如，被开发来搬运重负载的机器人可能具有宽的身体，其能够放置负载。类似地，被设计用于在密闭空间操作的机器人可能具有相对较高、较窄的身体。此外，身体或其他组件可以使用各种类型的材料开发，诸如金属或塑料。在其他示例中，机器人可以具有拥有不同结构或由各种类型的材料制成的身体。

身体或其他组件可以包括或携带(多个)传感器112。这些传感器可以位于机器人系统100上的各种位置，诸如身体、头部、颈部、基座、躯干、臂或末端执行器等。

机器人系统100可以被配置为搬运负载，诸如要运输的一类货物。在一些示例中，机器人系统100可以将负载放置在附接到机器人系统100的箱柜或其他容器中。负载还可以表示机器人系统100可以利用的外部电池或其他类型的电源(例如，太阳能电池板)。搬运负载表示机器人系统100可以被配置的一个示例用途，但是机器人系统100也可以被配置为执行其他操作。

如上所述，机器人系统100可以包括各种类型的附件、轮子、末端执行器、夹具设备等等。在一些示例中，机器人系统100可以包括具有轮子、踏板或一些其他移动力形式的移动基座。此外，机器人系统100可以包括机械臂或一些其他形式的机器人操纵器。在移动基座的情况下，基座可以被认为是机械组件110中的一个，并且可以包括由一个或多个致动器驱动的轮子，除了身体的其余部分之外，所述一个或多个致动器还允许机器人臂的移动。

图2图示了根据示例实施例的移动机器人。图3图示了根据示例实施例的移动机器人的分解图。更具体地，机器人200可以包括移动基座202、中间部分204、臂206、臂端系统(EOAS)208、桅杆210、感知外壳212和感知套件214。机器人200还可以包括存储在移动基座202内计算机盒216。

移动基座202包括位于机器人200前端的两个驱动轮，以便为机器人200提供移动力。移动基座202还包括附加的脚轮(未示出)，以便于移动基座202在地面上的运动。移动基座202可以具有模块化架构，该架构允许容易地移除计算机箱216。计算机盒216可以用作机器人200可拆卸控制系统(而不是机械集成的控制系统)。在移除外部的壳体之后，计算盒216可以被容易地移除和/或替换。移动基座202也可以被设计成允许附加的模块化。例如，移动基座202也可以被设计成使得电力系统、电池和/或外部缓冲器都可以被容易地移除和/或替换。

中间部分204可以在移动基座202的前端连接到移动基座202。中间部分204包括固定到移动底座202的安装柱。中间部分204附加地包括用于臂206的旋转关节。更具体地，中间部分204包括臂206的前两个自由度(肩部偏转J0关节和肩部俯仰J1关节)。安装柱和肩部偏转J0关节可以形成移动基座202前面的堆叠塔的一部分。安装柱和肩部偏转J0关节可以是同轴的。可以选择中间部分204的安装柱的长度以便为臂206提供足够的高度，以在通常遇到的高度水平(例如，咖啡桌顶部和/或柜台顶部水平面)执行操纵任务。中间部分204的安装柱的长度也可以允许肩部俯仰J1关节在不接触移动基座202的情况下在移动基座202上旋转臂206。

当连接到中间部分204时，臂206可以是7自由度(DOF)机器人臂。如上所述，可以在中间部分204中包括臂206的前两个自由度。如图2和3所图示，可以在臂206的独立部分中包括剩余的五个自由度。臂206可以由塑料整体连杆结构制成。臂206内部可以容纳独立的致动器模块、本地电机驱动器和通孔电缆。

EOAS 208可以是臂206末端的末端执行器。EOAS 208可以允许机器人200操纵环境中的对象。如图2和3所示，EOAS 208可以是夹具，诸如欠致动夹紧夹具。夹具可以包括一个或多个接触传感器，诸如力/扭矩传感器，和/或非接触传感器，诸如一个或多个相机，以便于对象检测和夹具控制。EOAS 208也可以是不同类型的夹具，诸如吸力夹具，或者不同类型的工具，诸如钻头或刷子。EOAS 208也可以是可交换的，或者包括可交换的组件，诸如夹具趾。

桅杆210可以是臂206的肩部偏转J0关节和感知外壳212之间的相对长、窄的组件。桅杆210可以是移动基座202前面的堆叠塔的一部分。桅杆210可以相对于移动基座202固定。桅杆210可以与中央部分204同轴。桅杆210的长度可以便于感知套件214感知由EOAS208操纵的对象。桅杆210可以具有这样的长度，使得当肩部俯仰J1关节垂直向上旋转时，臂206的二头肌(bicep)的最高点近似与桅杆210的顶部对齐。桅杆210的长度则可以足以防止当肩部俯仰J1关节垂直向上旋转时感知外壳212和臂206之间的碰撞。

如图2和3所示，桅杆210可以包括被配置为收集关于环境的深度信息的3D LIDAR传感器。3D LIDAR传感器可以耦合到桅杆210的切开部分，并以向下的角度固定。可以针对定位、导航和前悬崖(front cliff)检测来优化LIDAR定位。

感知外壳212可以包括组成感知套件214的至少一个传感器。感知外壳212可以连接到平移/倾斜控制器，以允许感知外壳212的重新定向(例如，查看由EOAS 208操纵的对象)。感知外壳212可以是固定到移动基座202的堆叠塔的一部分。感知外壳212的后部可以与桅杆210同轴。

感知套件214可以包括被配置为收集表示机器人200的环境的传感器数据的传感器套件。感知套件214可以包括红外(IR)辅助的立体深度传感器。感知套件214可以附加地包括用于人类-机器人交互和上下文信息的广角红绿蓝(RGB)相机。感知套件214可以附加地包括用于对象分类的高分辨率RGB相机。还可以包括围绕感知套件214的面部光环，用于改善人类-机器人交互和场景照明。在一些示例中，感知套件214还可以包括被配置为将图像和/或视频投影到环境中的投影仪。

图4图示了根据示例实施例的机器人臂。机械臂包括7个自由度：肩部偏转J0关节、肩部俯仰J1关节、二头肌翻转J2关节、肘部俯仰J3关节，前臂翻转J4关节、手腕俯仰J5关节和手腕翻转J6关节。每个关节可以耦合到一个或多个致动器。耦合到关节的致动器可以是可操作的以使连杆沿着运动链(以及连接到机器人臂的任何末端执行器)移动。

肩部偏转J0关节允许机器人臂向机器人的前方和后方旋转。这种运动的一个有益用途是允许机器人拾取机器人前面的对象，并快速将该对象放置在机器人的后部(以及相反的运动)。这种运动的另一个有益用途是将机器人臂从机器人后面的收起的配置快速移动到机器人前面的活动定位(以及相反的运动)。

肩部俯仰J1关节允许机器人提升机器人臂(例如，使得二头肌向上到机器人的感知套件水平)和降低机器人臂(例如，使得二头肌刚好在移动基座上方)。该运动有利于允许机器人在环境中的不同目标高度水平有效地执行操纵操作(例如，顶部抓握和侧部抓握)。例如，肩部俯仰J1关节可以旋转到垂直向上的定位，以允许机器人容易地操纵环境中桌子上的对象。肩部俯仰J1关节可以旋转到垂直向下的定位，以允许机器人容易地操纵环境中地面上的对象。

二头肌翻转J2关节允许机器人旋转二头肌，以相对于二头肌移动肘部和前臂。这种运动特别有利于便于机器人的感知套件清晰地观看EOAS。通过旋转二头肌翻转J2关节，机器人可以撑出(kick out)肘部和前臂，以改善对在机器人夹具中保持的对象的视线。

沿着运动链向下移动，提供了交替的俯仰和翻转关节(肩部俯仰J1关节、二头肌翻转J2关节、肘部俯仰J3关节、前臂翻转J4关节、手腕俯仰J5关节和手腕翻转J6关节)来提高机器人臂的可操纵性。手腕俯仰J5关节、手腕翻转J6关节和前臂翻转J4关节的轴相交，以减少重新定向对象的臂运动。提供手腕翻转J6关节来代替手腕中的两个俯仰关节，以便改善对象的旋转。

在一些示例中，诸如图4所图示的机器人臂可以能够在教导模式下操作。具体地，教导模式可以是允许用户与机器人臂进行物理交互并引导机器人臂执行和记录各种移动的机器人臂的操作模式。在教导模式中，基于旨在教导机器人如何执行特定任务的教导输入，(例如，由用户)将外力施加到机器人臂。机器人臂因此可以基于来自用户的指令和引导获得关于如何执行该特定任务的数据。这种数据可能涉及机械组件的多种配置、关节位置数据、速度数据、加速度数据、扭矩数据、力数据和功率数据，以及其他可能性。

在教导模式期间，在一些示例中，用户可以抓握EOAS或手腕，或者在其他示例中，抓握机器人臂的任何部分，并且通过物理移动机器人臂来提供外力。具体地，用户可以引导机器人臂抓握对象，然后将对象从第一位置移动到第二位置。当用户在教导模式期间引导机器人臂时，机器人可以获得并记录与移动相关的数据，使得机器人臂可以被配置为在独立操作期间的未来时间独立执行任务(例如，当机器人臂在教导模式之外独立操作时)。在一些示例中，外力也可以由物理工作空间中的其他实体施加，例如由其他对象、机器或机器人系统以及其他可能性施加。

如上所述，机器人设备，例如机器人200，可以被配置为具有固定感知组件。固定感知组件可以包括静态传感器布置，其可以涉及至少两个固定相机，其中相机具有围绕机器人设备的组合的360度水平视场。图5图示出了根据示例实施例的涉及两个相机的静态传感器布置500。静态传感器布置的其他示例也是可能的。

固定感知组件502上的静态传感器布置500可以涉及相机510和相机520，这两个相机具有以便利于系统在距固定感知组件502某个距离处具有组合的360度水平视场的方式的属性和布置。360度水平视场可以由相机510和相机520的视场形成。

相机510和相机520可以各自具有数值上类似的水平视场，并且被布置在固定感知组件502的相对端。相机510可以具有由线512和线514勾勒出的视场，覆盖区域532、516和534。相机520可以具有由线522和线524勾勒出的视场，覆盖区域532、526和534。因此，区域532和区域534可以是相机510和520两者的重叠视场，而区域516可以仅在相机510的视场中，并且区域526可以仅在相机520的视场中。

重叠视场的区域532和区域534可以基于每个相机的视场而不同。具有较小视场的传感器布置可能具有较少的重叠。更多的重叠可能导致更高比例的图像在图像之间重复，尤其当环境中的对象离机器人设备更远时更是如此，并且可能由于更高比例的重复区域而引起增加的不必要的处理。相比之下，更多的重叠也可以便利于改善深度感知，这在应用中可能有利于机器人设备。更少的重叠可以导致静态传感器布置500附近更大的盲区，如以下部分所述。

在将相机510的视场与相机520的视场组合时，可能存在不能实现360度水平视场的区域，例如由线512和线522勾勒出的盲点区域552以及由线514和线524勾勒出的盲点区域554。盲点区域552和554可以通过相机510和520的更大视场而最小化。可替换地，可以通过增加具有相同或更大数值视场(在某些情况下，可能是更小的视场)的相机的数量来减小单个盲点区域的大小。可替换地，又可通过减小固定感知组件502的大小使得每个相机放置得更靠近来减小单个盲点区域。这些用于最小化盲点区域的可替代布置可以应用于任何静态传感器布置，例如静态传感器布置600和700，如在后面的部分中讨论的。然而，静态传感器布置500和其他静态传感器布置的大多数应用可以在固定感知组件上来大体上观察机器人设备的环境，使得可能不需要涉及诸如区域552和554之类的盲点区域的附近观察。

图6是根据示例实施例的静态传感器布置的另一个示例。静态传感器布置600涉及固定感知组件602上的相机610、相机620和相机630。每个相机可以具有各自的视场，该视场的布置方式能够便利于系统在距固定感知组件602某个距离处具有组合的360度水平视场。

在静态传感器布置600的情况下，每个相机以近似相同的数值视场均匀间隔开。类似于静态传感器布置500，相机610可以具有由线612和614勾勒出的视场，涵盖区域640、616和644。相机620可以具有由线622和624勾勒出的视场，涵盖区域640、626和642。相机630可以具有由线632和634勾勒出的视场，涵盖区域642、636和644。因此，区域640、642和644可以是至少两个相机的重叠视场。

类似于静态传感器布置600，重叠视场的区域640、642和644可以基于每个相机的视场而不同。由于相机数量的增加和每个相机的视场的减小，与静态传感器布置500相比，单个重叠视场通常会更小。然而，如上所述，基于相机的各个视场，各个重叠视场可以更大或更小。更多的重叠可以便利于区域的重复的图像，这可以改善深度感知和/或引起更多不必要的处理，而更少的重叠可以产生更靠近静态传感器布置600的更大的盲点。

类似于静态传感器布置500，静态传感器布置600也可以具有未实现360度视场的区域，例如由线614和622勾勒出的盲点区域650、由线624和632勾勒出的盲点区域652以及由线612和634勾勒出的盲点区域654。盲点区域650可以通过增加和/或移动相机610和620的视场来最小化。类似地，盲点区域652可以通过增加和/或移动相机620和630的视场来最小化，盲点区域654可以通过增加和/或移动相机610和630的视场来最小化。静态传感器布置600的这些改变也可能影响重叠视场区域的大小。

图7图示出了根据示例实施例的涉及三个相机的静态传感器布置700。静态传感器布置700涉及固定感知组件702上的相机710、相机720和相机730。与静态传感器布置600相反，静态传感器布置涉及具有非对称分布的不同数值视场的相机，但是仍然实现360度水平视场。

在静态传感器布置700的情况下，相机720和相机730具有类似的视场，而相机710具有较小的视场。相机720的视场由线722和724勾勒出，涵盖区域740、726和742，相机730的视场由线732和734勾勒出，涵盖区域742、736和744。相机710的视场由线712和714勾勒出，涵盖区域740、716和744。区域740、742和744可以在多个相机(即相机710、720和720)的视场内，并且重叠视场的这些区域740、742和744可以在大小上不同。

类似于静态传感器布置500和600的上述示例，静态传感器布置700也可能具有盲点区域。但是，盲点区域的大小和形状可能不同。例如，由线712和722勾勒出的盲点区域750可以小于由线714和732勾勒出的盲点区域754。两个盲点区域在形状上可以彼此不同，并且与由线724和734勾勒出的盲点区域752不同。

静态传感器布置500、600和700在若干种情形下可能是有利的。由于360度水平视场，这种布置在机器人自主性是优选的情况下可能是有用的，因为可以几乎持续地观察周围的许多方面。此外，由于不需要移动组件来进行周围的数据收集，该布置可以便利于简化数据收集。由于使用多个相机，静态传感器布置也可以接收具有相对高的角分辨率和最小失真的图像。

静态传感器布置500、600和700是一些布置的示例，并不意味着是限制性的。存在其他可能性。例如，可能存在具有更多相机的布置、具有更小或更大视场的相机的布置、具有大视场的相机的布置，使得每个相机附近的盲点区域不太普遍，以至于它们几乎难以注意到，等等。

图8A是根据示例实施例的机器人设备的侧视图。机器人设备800可以包括具有三个相机的静态传感器布置，出于示例的目的，可能是静态传感器布置700。机器人设备800还可以涉及机器人臂804和臂端感知件806，其可以包含具有小于360度水平视场的相机。

如上所述，静态传感器布置700涉及固定感知组件702和可以具有组合的360度水平视场的相机710、720和730。然而，每个相机710、720和730的垂直视场可以小于360度，但是仍然足以覆盖机器人周围的感兴趣区域。例如，相机710的垂直视场可以由线812和线814勾勒出，覆盖区域816。相机730的垂直视场可以由线832和线834勾勒出，覆盖区域836。相机720的垂直视场未示出，但是可以类似于相机710和730的垂直视场。尽管在该示例中相机710和730的垂直视场是类似的，但是它们不必然是类似的，并且每个相机可以具有更小或更大的垂直视场，这取决于在应用和制造时什么是实际可行的。在一些应用中，相机710、720和730的视场可能足以覆盖从机器人设备所在的地板到地平线以上大约30度的范围，从而获得大约120度的总的垂直视场。

图8B是根据示例实施例的具有固定感知组件的机器人设备的侧视图，该固定感知组件包括立体相机对。固定感知组件852可以具有两组相机，例如，每组相机可以类似于静态传感器布置700来布置，并且固定感知组件852的俯视图仍然可以类似于固定感知组件702上的静态传感器布置700。每组相机可以被堆叠，使得每个相机具有垂直伙伴，例如相机860和相机870。为了简单起见，没有描述固定感知组件852上的其他相机，但是可以假设每个立体对具有与相机860和相机870类似的属性。

相机860和相机870可以具有重叠的视场。相机860可以具有由线862和线864勾勒出的视场，涵盖区域866和880。相机870可以具有由线872和线874勾勒出的视场，涵盖区域880和876。因此，相机860和870可以在区域880具有重叠的视场。

如上所述，垂直立体相机对(在这种情况下是相机860和相机870)除了扩展机器人设备的垂直视场之外，还可以便利于更准确的深度感知。如此，与具有固定感知组件702的机器人设备800相比，并入固定感知组件852的机器人设备850可以具有更准确的深度感知，并且如所图示的，机器人设备850与机器人设备800相比可以具有更大的垂直视场。机器人设备850可以附加地并入根据静态传感器布置700布置的更多层的相机，以产生附加的重叠和更宽的垂直视场。附加地，垂直相机对中的每个相机可以间隔得更远，使得垂直视场更大，并且视场(例如区域880)之间的重叠减少。

机器人设备800和机器人设备850可以并入每个静态传感器布置的一个示例，但是许多其他示例也是可能的。机器人设备800可以并入静态传感器布置500、静态传感器布置600、静态传感器布置700和许多其他布置中的任何一个。机器人设备850可以类似地将静态传感器布置500、静态传感器布置600、静态传感器布置700和许多其他布置中的任何一个并入到将静态传感器布置中的每个相应相机并入立体对的布置中。

图9A是根据示例实施例的环境中的机器人设备的俯视图。在布置950中，机器人设备900可以具有固定感知组件906，其具有与静态传感器布置600类似的静态传感器布置。机器人设备900可以另外具有包含相机930的臂端组件904，相机930具有由线932和线934勾勒出的涵盖区域936的水平视场。该环境可以包含桌子920和位于桌子920顶部的对象922，以及桌子910和位于桌子910顶部的对象912。

图9B是根据示例实施例的环境中的机器人设备的俯视图。可以观察到，布置950的机器人设备900类似于布置960的机器人设备900。然而，在布置950和布置960之间，对象912改变了桌子910上的位置，并且包含相机930的臂端组件904改变了位置。

在布置950和布置960两者中，机器人设备900可以具有固定感知组件906，其具有完整的360度水平视场，而臂端组件904上的相机930可以具有较小的水平视场。固定感知组件906可以具有较低分辨率的传感器，以便于快速高效地处理数据。相比之下，臂端组件904上的相机930可以具有更高的分辨率，并且能够更详细地观察对象，因为更小的视场可以直接意味着数据的不太密集的处理。因此，机器人设备900能够从固定感知组件906大体上观察环境的概观，同时依靠臂端组件904上的相机930进行更详细的观察。在一些示例中，臂端组件904可以包括多个相机，例如类似于图8B的立体相机对，这可以便利于改善臂端组件上的深度感知。因此，与从固定感知组件906上的传感器获得的数据相比，机器人设备900还能够使用从臂端组件904上的传感器获得的数据而获得更精确的空间点。

在一些示例中，布置950中的机器人设备900可以被赋予将对象922堆叠在对象912的顶部的任务。如在布置950中，臂端组件904可以指向远离机器人设备900的方向。机器人设备900可以使用固定感知组件906来观察对象922和对象912的位置，并且确定对象922在桌子920上并且对象912在桌子910上。机器人设备900可以随后移动臂端组件904，以更详细地观察对象922(或许，观察几何形状以便于更好的夹持)，如在布置960中那样。当机器人设备900移动臂端组件904以观察对象922时，人可以将对象912移动到桌子910上的不同位置。机器人设备900通过具有360度水平视场的固定感知组件906，能够识别出对象912被移动以及它被移动到的位置。

在进一步的示例中，对象924可以存在于布置900和布置950中。在布置900中，固定感知组件906可能正在大体上观察周围，并且可能感知到对象912和922的存在，但是对象924可能被对象922从固定感知组件906的视场中部分或完全遮挡。机器人设备900可以移动臂端组件904以更详细地观察对象922，并且因此通过臂端组件904上的传感器，检测对象922后面的对象924的存在。

在又一示例中，布置900和950中的机器人设备900的固定感知组件906可以检测对象922的存在，但是可能无法对对象922进行分类，或者可能以其它方式需要关于对象922的更多信息。机器人设备900可以因此移动臂端组件904，以在一个或多个不同的角度更详细地观察对象922。在这些情形和其他情形下，诸如臂端组件904之类的可移动组件在改善检测和分类过程中可能特别有利，因为可以从臂端组件904以不同的距离和角度获得各种传感器数据。

图10是根据示例实施例的方法的框图。在一些示例中，图10的方法1000可以由控制系统执行，诸如机器人系统100的控制系统118。在进一步的示例中，方法1000可以由一个或多个处理器，诸如(多个)处理器102，执行存储在数据存储装置，诸如数据存储装置104中的程序指令，诸如程序指令106来执行。方法1000的执行可能涉及机器人设备，诸如关于图1-4图示出和描述的机器人设备，其与图5-9所图示的传感器系统和/或处理方法集成。其他机器人设备也可以用于方法1000的执行。在进一步的示例中，方法1000的一些或所有块可以由远离机器人设备的控制系统来执行。在又一示例中，方法1000的不同块可以由位于机器人设备上和/或远离机器人设备的不同控制系统来执行。

在块1002，方法1000包括从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示移动机器人设备的环境的一个或多个图像。至少两个固定相机中的每一个的视场可以与该至少两个固定相机中不同的一个相机的视场重叠，并且该至少两个固定相机可以具有围绕移动机器人设备的组合的360度水平视场。静态传感器布置可以在机器人设备的固定感知组件上，并且每个相机能够获得环境的一部分的图像。在其他示例中，可以对齐相机对，使得每个相机的垂直水平视场重叠，从而产生立体对用于更好的深度感知。这些布置可能需要两倍于先前所需的相机数量来实现360度水平视场。类似的布置可以用三个一组、四个一组和其他数量的相机堆叠在彼此的顶部来进行。

在块1004，方法1000包括从一个或多个图像确定移动机器人设备的环境中对象的存在。在一些示例中，从相机接收的图像可以被数字组合以重构环境的全景图像。重构的图像可以是算法或模型(诸如预训练的机器学习模型)的输入，以确定对象的存在。在其他示例中，可以以类似的方式使用没有重构的图像来确定环境中对象的存在。

在块1006，方法1000包括控制移动机器人设备的可移动传感器布置向对象移动。可移动传感器布置可以包括移动机器人设备上的至少一个可移动相机。控制移动机器人设备的可移动传感器布置可以基于从固定传感器布置接收的图像。例如，图像可以用于确定对象的位置。与静态传感器布置相比，可以控制可移动传感器布置更靠近对象，从而允许至少一个可移动相机更详细地观察对象。

在块1008，方法1000包括从可移动传感器布置的至少一个可移动相机接收表示对象的一个或多个附加图像。对象的这些附加图像可以更详细地观察对象，并给予机器人设备更多信息，从这些信息可以推断后续步骤。

可以从附加图像中推断出的一个这样的后续步骤是控制机器人设备上的组件，例如末端执行器。在一些示例中，如果机器人设备从附加图像推断出对象是可能易于操纵的东西，例如小盒子，则机器人设备可以将末端执行器向对象移动，并按照要求操纵对象。在其他示例中，如果机器人设备从附加图像推断出对象是可能难以操纵的东西，例如长杆，则机器人设备可以离开该对象和/或请求辅助。

在一些示例中，从机器人设备的可移动传感器布置上的传感器拍摄的一个或多个附加图像可以具有比从机器人设备上的静态传感器布置拍摄的图像更高的角分辨率，这可以允许区分对象的更细微的细节。角分辨率可以基于像素密度，例如每单位面积的像素数量。其中可移动传感器布置与静态传感器布置相关联的机器人设备可能特别高效，因为任务可以使用最合适的组件(静态传感器布置或可移动传感器布置)来避免不必要的处理。例如，避开周围的对象、识别对象以及不一定需要更高分辨率成像但将受益于(例如更高效地)更多表示周围的数据的其他任务可以使用静态传感器布置来进行低分辨率成像，而可以将需要高分辨率的周围的方面的更详细视图的任务(通常取决于在环境中感知到什么)转移到可移动传感器布置。以这种方式，数据的处理可以是高效的，使得不是通过移动具有高分辨率(可能提供海量数据)和有限视场(可能是时间密集的)的相机来获得360度水平视场。类似地，360度视场的所有图像可能不用于详细观察小对象(其可能仅占据整个视场的一小部分)。

在进一步的示例中，机器人设备的固定感知组件或机器人设备上的另一组件可以并入至少一个毫米波雷达传感器，这可以改善深度感测并减少对静态传感器布置的依赖。毫米波雷达传感器可以具有通过电介质(例如塑料、纸板、织物)以360度视场收集周围信息的能力，因此，单个毫米波雷达传感器可以放置在机器人内部以提供周围的360度水平视场。机器人设备内部的这种放置可以容易地隐藏位置并减少传感器的占用空间。

附加地或替换地，至少一个LIDAR传感器可以被并入到机器人设备的固定感知组件或机器人设备上的另一组件中，以类似地有助于改善深度感测并减少对静态传感器布置的依赖。例如，可以将LIDAR传感器并入机器人的前面，主要用于导航和/或测绘，或者并入机器人的顶部，以提供近似360度的水平视场(除了由于自遮挡而在机器人的紧邻的区域)。多个LIDAR传感器也可以在类似于静态传感器布置500、600或700的配置中使用，以减少阻碍机器人设备可视化其环境的盲点或死区的量。

III.结论

本公开不限于本申请中描述的特定实施例，这些实施例旨在说明各个方面。对于本领域的技术人员来说，很明显，在不脱离其精神和范围的情况下，可以进行许多修改和变化。除了这里列举的方法和装置之外，对于本领域的技术人员来说，根据前面的描述，本公开范围内的功能等同的方法和装置是明显的。这种修改和变化旨在落入所附权利要求的范围内。

以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，类似的符号通常标识类似的组件，除非上下文另有指示。这里和附图中描述的示例实施例并不意味着是限制性的。在不脱离这里呈现的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。将容易理解的是，如这里一般描述的和在附图中图示出的，本公开的方面可以以多种不同的配置来布置、替换、组合、分离和设计，所有这些这里都是明确预期的。

表示信息处理的块可以对应于可以被配置为执行这里描述的方法或技术的特定逻辑功能的电路。替代地或附加地，表示信息处理的块可以对应于程序代码的模块、片段或一部分(包括相关数据)。程序代码可以包括可由处理器执行的一个或多个指令，用于实现方法或技术中的特定逻辑功能或动作。程序代码或相关数据可以存储在任何类型的计算机可读介质上，诸如包括磁盘或硬盘驱动器或其他存储介质之类的存储设备。

计算机可读介质还可以包括非暂时性计算机可读介质，诸如短期存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括将程序代码或数据存储更长时间的非暂时性计算机可读介质，诸如二级或永久性长期存储器，如只读存储器(ROM)、光盘或磁盘、致密盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质，或者有形存储设备。

此外，表示一个或多个信息传输的块可以对应于同一物理设备中的软件或硬件模块之间的信息传输。然而，其他信息传输可以在不同物理设备中的软件模块或硬件模块之间进行。

附图中所示的特定布置不应被视为限制性的。应当理解，其他实施例可以包括给定附图中所示的更多或更少的每个元件。此外，一些示出的元件可以被组合或省略。此外，示例实施例可以包括图中未图示出的元件。

虽然这里已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员来说将是明显的。这里公开的各种方面和实施例是为了说明的目的，而不是为了限制，真正的范围由所附权利要求指示。

Claims (20)

1.一种移动机器人设备，包括：

静态传感器布置，包括在所述移动机器人设备上的至少两个固定相机，其中所述至少两个固定相机中的每一个的视场与所述至少两个固定相机中不同的一个相机的视场重叠，并且其中所述至少两个固定相机具有围绕所述移动机器人设备的组合的360度水平视场；以及

可移动传感器布置，包括所述移动机器人设备上的至少一个可移动相机，其中所述至少一个可移动相机具有比所述至少两个固定相机中的每一个更高的角分辨率。

2.根据权利要求1所述的移动机器人设备，其中所述可移动传感器布置位于所述移动机器人设备上的臂端组件上，其中所述臂端组件是被配置为操纵对象的所述移动机器人设备的可移动组件。

3.根据权利要求2所述的移动机器人设备，其中，所述可移动传感器布置进一步包括照明源。

4.根据权利要求3所述的移动机器人设备，其中所述照明源被配置为输出紫外光。

5.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机是红绿蓝(RGB)相机。

6.根据权利要求1所述的移动机器人设备，其中，所述至少一个可移动相机是RGB相机。

7.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机具有小于360度的组合的垂直视场。

8.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机是各自具有大于180度的单独的水平视场的两个固定相机。

9.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机是各自具有大于90度的单独的水平视场的四个固定相机。

10.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机包括垂直对齐的至少两对固定相机。

11.根据权利要求10所述的移动机器人设备，其中，来自所述垂直对齐的至少两对固定相机的垂直对齐对中的每个相机部分地共享公共视场。

12.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机各自具有基本相同度数的视场。

13.根据权利要求1所述的移动机器人设备，其中，所述至少两个固定相机各自具有不同度数的视场。

14.一种方法，包括：

从移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示所述移动机器人设备的环境的一个或多个图像，其中所述至少两个固定相机中的每一个的视场与所述至少两个固定相机中不同的一个相机的视场重叠，并且其中所述至少两个固定相机具有围绕所述移动机器人设备的组合的360度水平视场；

从所述一个或多个图像确定所述移动机器人设备的所述环境中对象的存在；

控制所述移动机器人设备的可移动传感器布置向所述对象移动，其中所述可移动传感器布置包括所述移动机器人设备上的至少一个可移动相机；以及

从所述可移动传感器布置的所述至少一个可移动相机接收表示所述对象的一个或多个附加图像。

15.根据权利要求14所述的方法，进一步包括从表示所述对象的所述一个或多个附加图像来确定所述移动机器人设备的所述对象的几何形状。

16.根据权利要求14所述的方法，其中响应于确定所述对象的存在，执行控制所述移动机器人设备的所述可移动传感器布置向所述对象移动。

17.根据权利要求14所述的方法，其中，表示所述移动机器人设备的所述环境的一个或多个图像包括至少两个具有重叠水平视场的图像。

18.根据权利要求14所述的方法，其中，表示所述移动机器人设备的环境的所述一个或多个图像包括一对或多对具有一个或多个重叠垂直视场的图像。

19.根据权利要求14所述的方法，其中，所述至少一个可移动相机比所述至少两个固定相机中的每一个具有更高的角分辨率。

20.一种移动机器人设备的非暂时性计算机可读介质，包括可由至少一个处理器执行的程序指令，以使所述至少一个处理器执行包括以下的功能：

从所述移动机器人设备上的静态传感器布置中的至少两个固定相机接收表示所述移动机器人设备的环境的一个或多个图像，其中所述至少两个固定相机中的每一个的视场与所述至少两个固定相机中不同的一个相机的视场重叠，并且其中所述至少两个固定相机具有围绕所述移动机器人设备的组合的360度水平视场；

从所述一个或多个图像确定所述移动机器人设备的所述环境中对象的存在；

控制所述移动机器人设备的可移动传感器布置向所述对象移动，其中所述可移动传感器布置包括所述移动机器人设备上的至少一个可移动相机；以及

从所述可移动传感器布置的所述至少一个可移动相机接收表示所述对象的一个或多个附加图像。