CN112384338B - 用于自主机器人导航的对接的装置、系统和方法 - Google Patents

Abstract

一种操作具有至少一米的高度的自主移动机器人的装置、系统和方法。该装置、系统和方法可以包括机器人本体；至少两个三维深度相机传感器，其在所述高度附近被固定到所述机器人本体，其中所述至少两个三维深度相机传感器都从其被固定处被朝向主要地板表面，并且组合起来包括所述主要地板表面围绕所述机器人本体的至少基本上360度视场；以及处理系统，用于从至少一个三维深度相机传感器接收视场内的数据，检测充电基座的上表面上的多个AR标签的存在，计算与机器人对接连接器的中心相关联的虚拟对准点，计算与充电基座对接连接器的中心相关联的虚拟对准点，以及输出充电基座对接连接器的中心和机器人的对接连接器的中心之间的行进路径，由此行成物理连接。

Description

用于自主机器人导航的对接的装置、系统和方法

相关申请的交叉引用

本申请要求保护2018年6月11日提交的题为“用于自动机器人导航的对接的装置、系统和方法”的美国临时申请62/683，449的优先权的权益，其全部内容通过引用结合于此，如同其全部内容被阐述一样。

背景技术

技术领域

本公开一般涉及机器人技术，并且更具体地，涉及将深度评估装置用于自主机器人导航的装置、系统和方法。

背景技术

自主机器人需要每天充电。在没有对接站的情况下，机器人将需要由助理或服务技术人员手动地插入和拔出。

发明内容

机器人需要许多细节以接近对接站并精确地对准连接器以便成功的充电连接。如所公开的，机器人包含被设计用于避开物体的深度相机。自主机器人使用AR标签/相机对准系统来与充电座配对。本公开是并且包括操作具有至少一米的高度的自主移动机器人的至少一种装置、系统和方法。该装置、系统和方法可以包括机器人本体；至少两个三维深度相机传感器，其在所述高度附近被固定到所述机器人本体，其中所述至少两个三维深度相机传感器都从所述固定处指向主地板表面，并且组合地包括围绕所述机器人本体的至少基本上360度的视场；以及处理系统，其与所述至少两个三维深度相机传感器通信并且包括非瞬态计算代码。处理系统可以执行以下步骤：从所述至少一个三维深度相机传感器接收所述视场内的数据，检测所述充电基座的所述上表面上多个AR标签的存在，计算与所述机器人对接连接器的所述中心相关联的虚拟对准点，计算与所述充电基座对接连接器的所述中心相关联的虚拟对准点，以及输出所述充电基座对接连接器的所述中心和所述机器人对接连接器的所述中心之间的行进路径，由此进行物理连接。

附图说明

本公开通过示例的方式而非限制的方式在附图中示出，其中，相同的附图标记指示类似的元件，并且其中：

图1示出了操作环境中的示例性机器人；

图2A示出了操作环境中的示例性充电站；

图2B示出了操作环境中的示例性充电站；

图3示出了操作自主机器人的示例性方法；以及

图4是示出示例性处理系统的示意图。

具体实施方式

本文提供的附图和描述可能已经被简化以说明与清楚理解本文描述的装置、系统和方法相关的方面，同时为了清楚起见，消除了可以在典型的类似装置、系统和方法中发现的其它方面。本领域的普通技术人员可以认识到，其它元件和/或操作对于实现本文所述的装置、系统和方法可能是期望的和/或必要的。但是因为这样的元件和操作在本领域中是公知的，并且因为它们不促进对本公开的更好理解，所以在此可能不提供对这样的元件和操作的讨论。然而，本公开被认为固有地包括本领域普通技术人员将已知的对所描述的方面的所有这样的元件、变化和修改。

本文所使用的术语仅用于描述特定实例实施例的目的，且不希望为限制性的。例如，如本文所用，单数形式“一”、“一个”和“该”也可旨在包括复数形式，除非上下文另外清楚地指明。术语“包括”、“包含”、“含有”和“具有”是包含性的，因此指定了所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。除非明确地确定为执行顺序，否则这里描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行。还应当理解，可以采用附加的或替代的步骤。

当元件或层被称为在另一元件或层“上”、“接合到”、“连接到”或“联接到”另一元件或层时，其可以直接在另一元件或层上、直接接合到、直接连接到或直接联接到另一元件或层，或者可以存在中间元件或层。相反，当元件被称为“直接在另一元件或层上”、“直接接合到”、“直接连接到”或“直接联接到”另一元件或层时，可以不存在中间元件或层。用于描述元件之间的关系的其他词语应当以类似的方式解释(如，“之间”对“直接之间”、“相邻”对“直接相邻”等)。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。

尽管术语第一、第二、第三等可以在这里用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应当受这些术语限制。这些术语仅用于将一个元件、部件、区域、层或部分与另一个元件、部件、区域、层或部分区分开。也就是说，除非上下文清楚地指出，否则诸如“第一”、“第二”和其它数字术语的术语在本文使用时不暗示顺序或次序。因此，在不脱离示例性实施例的教导的情况下，下面讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分。

本文公开了处理器实现的模块、系统和使用方法，其可以提供对多种类型的数字内容的访问和转换，所述多种类型的数字内容包括但不限于视频、图像、文本、音频、元数据、算法、交互式和文档内容，并且其跟踪、递送、操纵、转换和报告所访问的内容。这些模块、系统和方法的所述实施例旨在是示例性的而非限制性的。因此，可以设想，本文所述的系统和方法可以被修改并且可以被扩展以提供对所述的示例性模块、系统和方法的增强和/或添加。因此，本公开旨在包括所有这样的扩展。

此外，将理解，如本文所使用的术语“引擎”、“应用程序”或“模块”不将功能性限于特定物理模块，而是可包含对系统的至少一部分具有变换效应的任何数目的有形地体现的软件和/或硬件组件。通常，根据一个实施例的计算机程序产品包括有形计算机可用介质(例如，标准RAM、光盘、USB驱动器等)，其具有在其中实现的计算机可读程序代码，其中计算机可读程序代码适于由处理器(其可以与操作系统结合工作)执行以实现如下所述的一个或多个功能和方法。在这点上，程序代码可以以任何期望的语言实现，并且可以实现为机器代码、汇编代码、字节代码、可解释的源代码等(例如，经由C、C++、C#、Java、Actionscript、Objective-C、Javascript、CSS、XML等)。

本公开提供了一种用于通过自主机器人与充电和/或信息传送站对接的高度精确的装置、系统和方法。这可以通过使用与现有技术相比有利的传感器和传感器布置，并且通过使用针对由那些传感器和传感器布置提供的数据的改进的处理方法来实现。

更具体地，实施例可以提供具有360度视场(FoV)的移动机器人以用于障碍物评估。实施例可以使用少至两个深度相机来提供该FoV，并且所提供的几何结构和障碍评估技术使得能够从由FoV传感器提供的深度数据中提取丰富的信息量。

图1示出了根据实施例的系统100。如图所示，两个或更多传感器102、104，诸如相机，诸如3D深度相机，可以基本上靠近移动机器人106的顶部106a安装。当然，在一些实施例中，如本领域普通技术人员根据本文的讨论将理解的，可以由处于除了本文具体详述的那些高度或角度之外的特定高度或角度的多个其他相机类型或类似传感器，而不是通过使用在关于图1讨论的高度和角度处的3D深度相机，来提供从机器人106的顶部的必需的三维视场(FoV)108。

传感器102、104可在诸如主动使用前，实质上竖直地，例如在与竖直方向成10度至45度的范围内，瞄准至移动式机器人106将操作的地板110。该瞄准112可以处于由本文所讨论的计算机处理系统120执行的软件、固件和/或硬件已知的特定角度，诸如可以基于存储在如本文所讨论的非暂时性计算存储器中的代码的执行。

在实施例中，如图所示，可以使用两个3D相机102、104，例如一个在移动机器人106的前侧，一个在移动机器人106的后侧。当然，根据本公开，可以使用用于相机102、104的固定点的其他配置。根据图1中说明性地提供的配置，并且由于图示中的相机的高度，基于两个深度传感器/相机的使用和机器人106的顶部106a的高度，相机102、104的组合FoV 108可以包括从机器人106在所有方向上延伸到多达几米的距离的区域，诸如在1米-3米的范围内，并且更具体地大约2米。

虽然图1中没有具体示出，但是根据这里的讨论，将理解，一些实施例可以类似地采用多于两个的多个相机，例如在移动机器人106的长度或宽度，需要多于两个相机才能在机器人106周围的所有方向上观察看到地板110到距机器人106的期望横向距离130。当然，该期望横向距离130可以是对应的，例如在由本文讨论的处理系统120执行的软件或固件的算法中，不仅对应于机器人的高度或宽度，而且或更确切地说对应于机器人106的能力，例如机器人的驱动硬件能够实现的最大速度或转弯半径，或例如形成机器人的一部分的安全装备或碰撞避免算法。

作为非限制性示例，当前的商用3D相机适于区分具有在地板110上方至少2-4cm的高度的障碍物160、162、164，即使从3英尺-8英尺的相机高度也是如此。此外，即使从3英尺-8英尺的相机高度，这种相机也能够区分浅至2cm-4cm的斜坡、洞、楼梯或悬崖164。

在典型的已知技术中，前述示例性3D深度相机可以具有从机器人106向外20cm到60cm之间的最小横向范围130起始点，并且横向FoV将从该起始点围绕机器人向外延伸。然而，因为所公开的相机102、104可以从机器人上的显著高度向下看，诸如如上所述从地板110的平面上方3英尺-8英尺，所以可以在非常靠近机器人的横向检测到地平面处或附近的障碍物160、162、164。实际上，在实施例中，FoV的横向向外延伸范围可在机器人本体106本身上具有起始点。

在一个实施例中，上述示例性3D相机102、104通常可以具有15fps到90fps之间的帧速率。该帧速率可以提供对从相机102、104产生的数据170的接近瞬时的响应时间。因此，出现静态或动态障碍物160、162、164的响应时间仅受相机的帧速率加上由本文讨论的处理系统120消耗的非常少量的处理开销时间的限制，对于前述示例性相机，所述帧速率是最小的。

因此，移动机器人106可包含装载在机器人106上的一个或多个处理系统120，且这些处理系统120可具有与其相关联的一个或多个计算存储器，所述计算存储器具有与其相关联的非暂时性计算代码，所述非暂时性计算代码在由所述一个或多个处理系统执行时致使提供遍及全文所论述的算法、计算、比较及关系。装载在机器人上的处理系统120可以另外包括用于收发去往和来自机器人机外通信的通信能力。作为示例，这样的通信能力可以包括近场通信(NFC)、蓝牙、局域网(诸如WiFi)、广域网、蜂窝网络、红外或其他通信方法，如以下关于图4进一步讨论的。将理解的是，在提供上述通信能力的范围内，机器人106的机载处理系统120可以处理所有主要处理，诸如贯穿全文讨论的算法、计算、比较和关系的应用，或者在不脱离本公开的情况下，可以共享至少部分地或完全地在机器人106机外的主要处理。

机器人106与对接站(500，如图2A和2B所示)对准，以便使用上述相机通过AR标签502充电。有三个AR标签(502a、502b、502c)位于对接站500上，两个AR标签506a、506b位于机器人106的背部上。对接站500上的三个AR标签(502a-502c)被放置在关于对接站上的对接连接器510的预定位置。自主机器人上的两个AR标签(506a、506b)位于关于机器人106上的充电连接器510的预定位置。对接站上的三个AR标签502由深度相机(例如104)或具有RGBIR能力的深度相机(104a)可视化，其中所述深度相机与机器人106上的对接连接器512安装在机器人106的相同的一侧。AR标签502由机器人106上的处理系统120识别，并且计算虚拟对准点520。该虚拟点对准点是充电连接器510的中心。机器人106上的两个AR标签(506a、506b)用于相同的目的。虚拟对准点522也被计算到机器人充电连接器的中心。对接方法包括连接这两个虚拟挂载点(520，522)。在对接失败(没有连接)的情况下，机器人106将从对接处移开并且进行另一次尝试。

参照图2A，对接站500包括分离的墙壁安装件550和充电基座555。充电基座555包含台达(Delta)充电器560。不需要附加的电子设备。在一个实施例中，暴露台达充电翼片以允许充分的通风。支撑脚564将充电基座555从地面提升。

如图2B所示，浮动充电连接器510允许用于可调节和可靠的对接连接的3轴移动。AR标签502a、502b、502c被放置在上表面568上并用于如上所述的对接对准。在该实施例中，上表面568被设置成预定角度，使得其表面垂直于具有RGB IR能力的深度相机(104a)的视场。

图3是示出根据实施例的方法200的流程图。在所示的方法200中，在步骤202处从多3D深度相机系统获得传感器数据。在步骤204，针对对接站500上AR标签502a、502b、502c的存在来评估该数据。在步骤206，由处理系统计算与对接连接器510的中心相关联的虚拟对准点。在步骤208中，机器人106上的AR标签506a和506b用于计算与机器人对接连接器512的中心相关联的虚拟对准点。

在步骤210，评估与机器人对接连接器512的中心相关联的虚拟对准点和与对接连接器510的中心相关联的虚拟对准点之间的对准。在步骤212，基于步骤210的输出指示机器人的动作。

图4通过非限制性示例的方式描绘了用于与实施例相关联地使用的示例性计算机处理系统120。处理系统120能够执行软件，例如操作系统(OS)和诸如在全文中讨论的那些一个或多个计算算法/应用程序490。示例性处理系统120的操作主要由贯穿全文讨论的计算机可读指令/代码来控制，诸如存储在诸如硬盘驱动器(HDD)415、诸如CD或DVD等光盘(未示出)、诸如USB“拇指驱动器”等固态驱动器(未示出)等计算机可读存储介质中的指令。这些指令可以在中央处理单元(CPU)410内执行，以使系统120执行所公开的操作、比较和计算。在许多已知的计算机服务器、工作站、个人计算机等中，CPU 410在称为处理器的集成电路中实现。

应当理解，尽管示例性处理系统120被示为包括单个CPU 410，但是这样的描述仅仅是说明性的，因为处理系统120可以包括多个CPU 410。另外，系统120可以通过通信网络470或一些其它数据通信装置480来利用远程CPU(未示出)的资源，如上所述。

在操作中，CPU 410从计算机可读存储介质如HDD 415中获取、解码和执行指令。这样的指令可以包括在诸如操作系统(OS)、可执行程序/应用490等的软件中。诸如计算机指令和其它计算机可读数据的信息经由系统的主数据传输路径在系统120的组件之间传输。主数据传输路径可以使用系统总线架构405，尽管可以使用其他计算机架构(未示出)，诸如使用串行器和解串器以及纵横开关以通过串行通信路径在设备之间传送数据的架构。系统总线405可以包括用于发送数据的数据线、用于发送地址的地址线、以及用于发送中断和用于操作系统总线的控制线。一些总线提供总线仲裁，该总线仲裁通过扩展卡、控制器和CPU410来调节对总线的访问。

作为示例，耦合到系统总线405的存储器设备可包括随机存取存储器(RAM)425和/或只读存储器(ROM)430。这种存储器包括允许存储和检索信息的电路。ROM 430通常包含不能被修改的存储数据。存储在RAM 425中的数据可以由CPU 410或其他硬件设备读取或更改。对RAM 425和/或ROM 430的访问可以由存储控制器420控制。存储控制器420可提供地址转换功能，其在执行指令时将虚拟地址转换成物理地址。

另外，处理系统120可以包含外围设备通信控制器和总线435，其负责将指令从CPU410传送到外围设备和/或从外围设备接收数据，所述外围设备诸如外围设备440、445和450，其可以包括打印机、键盘和/或本文通篇讨论的元件。外围总线的一个示例是在相关领域中公知的外围部件互连(PCI)总线。

由显示控制器455控制的显示器460可以用于响应于上述计算程序/应用490的操作，显示由处理系统120生成或应其请求而生成的视觉输出和/或呈现数据。这样的视觉输出可以包括例如文本、图形、动画图形和/或视频。显示器460可以用基于CRT的视频显示器、基于LCD或LED的显示器、基于气体等离子体的平板显示器、触摸面板显示器等来实现。显示控制器455包括产生发送到显示器460的视频信号所需的电子组件。

此外，处理系统120可以包含网络适配器465，其可以用于将系统120耦合到外部通信网络470，其可以包括或提供对因特网、内联网、外联网等的访问。通信网络470可以利用电子地通信和传送软件和信息的方式来为处理系统120提供访问。另外，通信网络470可以提供分布式处理，其涉及若干计算机以及在执行任务时的工作负载或协作工作的共享，如上所述。网络适配器465可以使用任何可用的有线或无线技术与网络470进行通信。作为非限制性示例，这样的技术可以包括蜂窝、Wi-Fi、蓝牙、红外等。

在上述详细描述中，可以看出，为了本公开的清楚和简洁，各种特征被一起分组在单个实施例中。本公开的这种方法不应被解释为反映实施例需要比本文明确叙述的更多的特征的意图。相反，本公开将涵盖本领域技术人员根据本公开将理解的对所公开的实施例的所有变化和修改。

Claims (15)

1.一种用于自主机器人导航的对接系统，包括自主移动机器人，该自主移动机器人具有至少一米的高度并具有对接站，所述对接系统包括：

位于所述对接站的充电站，包括：

充电基座；

基座对接连接器；

设置在所述充电基座的上表面的至少一个AR标签；以及

所述机器人，包括：

机器人本体；

至少一个三维深度相机传感器，其在所述高度的整个范围附近被固定到所述机器人本体，其中所述至少一个三维深度相机传感器从其被固定处被朝向主地板表面；

对接连接器，所述对接连接器与所述至少一个三维深度相机设置在所述机器人的同一侧；

至少两个AR标签，所述至少两个AR标签与所述至少一个三维深度相机设置在所述机器人的同一侧；以及

处理系统，所述处理系统与所述至少一个三维深度相机传感器通信并且包括非暂时性计算代码，所述非暂时性计算代码在由与所述处理系统相关联的至少一个处理器执行时，使得执行以下步骤：

从所述至少一个三维深度相机传感器接收视场内的数据；

检测所述充电基座的所述上表面上所述至少一个AR标签的存在；

根据所述充电基座的所述上表面上的所述至少一个AR标签，计算与所述机器人的对接连接器的中心点相关联的虚拟对准点；

根据所述机器上的所述至少两个AR标签，计算与所述基座对接连接器的中心相关联的虚拟对准点；以及

根据所计算的两个虚拟对准点，输出所述基座对接连接器的所述中心和所述机器人的对接连接器的所述中心之间的行进路径，由此形成物理连接。

2.根据权利要求1所述的对接系统，其中所述至少一个三维深度相机传感器是具有RGBIR能力的三维深度相机。

3.根据权利要求1所述的对接系统，其中所述充电站的所述上表面与所述机器人上的所述至少一个三维深度相机传感器的所述视场基本上平行。

4.根据权利要求1所述的对接系统，其中所述至少一个三维深度相机传感器包括两个三维深度相机传感器。

5.根据权利要求4所述的对接系统，其中所述两个三维深度相机传感器提供包含360度的所述视场。

6.根据权利要求4所述的对接系统，其中相对于所述机器人本体的向前动作，所述两个三维深度相机传感器中的第一三维深度相机传感器位于所述机器人本体的前侧，并且其中所述两个三维深度相机传感器中的第二三维深度相机传感器位于所述机器人本体的后侧。

7.根据权利要求1所述的对接系统，其中所述处理系统进一步执行所述视场内的障碍物检测步骤。

8.根据权利要求6所述的对接系统，其中所述处理系统进一步执行避开检测到的障碍物的步骤。

9.根据权利要求8所述的对接系统，其中所述检测到的障碍物是动态的。

10.根据权利要求8所述的对接系统，其中所述检测到的障碍物是静态的。

11.根据权利要求1所述的对接系统，其中来自所述至少一个三维深度相机传感器的所述视场包括与竖直方向成10度至45度之间的所述传感器的定向范围。

12.根据权利要求1所述的对接系统，其中所述至少一个三维深度相机传感器的帧率在15fps至90fps之间。

13.根据权利要求1所述的对接系统，其中所述基座对接连接器包括浮动连接器。

14.根据权利要求1所述的对接系统，其中所述充电基座从所述主地板表面提升。

15.根据权利要求1所述的对接系统，其中所述充电基座的所述上表面包括至少三个AR标签。