CN113825598A - 物体抓取系统和方法 - Google Patents

Abstract

一种抓取系统，该抓取系统包括具有夹持器的机械臂。固定传感器监测抓取区域，随夹持器一起移动的机载传感器也监测该区域。控制器接收指示将被抓取的物体的位置的信息，并且基于由固定传感器提供的信息操作机械臂，以将夹持器带到邻近物体的抓取位置。控制器还被编程为响应于第一机载传感器提供的信息来操作夹持器以抓取物体。

Description

物体抓取系统和方法

相关申请的交叉引用

本专利申请要求于2019年4月16日提交的美国专利申请第16/385,592号的权利，其出于全部目的通过引用并入本文。

技术领域

本公开涉及自动化制造过程，更具体地涉及用于抓取物体的系统和方法。

背景技术

某些制造过程涉及例如从托盘、环形输送机等中拾取物体，以对物体进行分类和/或处理。拾取本身可以由拾取器例如磁性或气动设备、夹持器或类似结构来执行。在执行拾取过程时，要注意实现对物体的有效抓取，以实现可预测的物体位置和取向，同时还避免损坏物体。

过去已经使用了各种系统和方法来改进物体的拾取过程。例如，之前提出的系统包括使用数据驱动的方法，诸如深度学习，以改进抓取性能。在这样的系统中，离线数据收集或校准会话被用于确定物体上的最佳抓取位置，这将提供稳定的抓取，而不会对被抓取的物体造成损坏或变形。然而，这种方法至少存在三个问题：(1)由于每个物体都可以通过多种方式抓取，抓取位置的手动标记是费力且耗时的，因此不是一项微不足道的任务；(2)手动标记在语义上有偏差的；(3)为特定物体实现的校准或标记不能被扩展到不同类型的物体。

虽然已经通过反复试验，以在无论是现实的机器人抓取还是模拟环境中，尝试自动生成抓取标签，但现有的系统和方法仅使用传感器来测量成功/失败，这使得学习者容易过拟合以及在不稳定的抓取位置处提供弱监督。因此，虽然预先校准的物体抓取策略可能比开放式拾取策略略有改进，但在其被实施之前，其需要大量的工作，而且其缺乏适用于许多不同形状和尺寸的物体的灵活性。

发明内容

一方面，本公开描述了一种物体抓取系统。该系统包括具有远端的机械臂组件，该远端能够选择性地由机械臂相对于固定系运动。夹持器被设置在远端并且适于抓取位于区域中的物体。固定传感器被设置为监测该区域并且相对于固定系以固定方式定位。第一机载传感器被设置为与机械臂远端上的夹持器一起移动，第一机载传感器被设置为监测该区域。控制器与机械臂组件和夹持器可操作地相关联，并且该控制器操作以控制机械臂组件和夹持器的操作。控制器还与固定传感器和第一机载传感器可操作地相关联，并且被设置为从固定传感器和第一机载传感器接收指示物体和夹持器相对于固定系的位置以及物体相对于夹持器的位置的信息。控制器被编程为基于固定传感器提供的信息来操作机械臂组件，以将夹持器带到物体附近的抓取位置。控制器还被编程为响应于第一机载传感器提供的信息来操作夹持器以抓取物体。

在另一方面，本公开描述了一种用于使用设置在机械臂组件的远端上的夹持器来抓取物体的方法。该方法包括使用固定传感器确定物体相对于固定参考系的空间位置，使用固定传感器确定被附接到机械臂的远端的夹持器相对于物体的位置，激活机械臂以将夹持器移动到相对于第一物体的抓取位置，使用夹持器抓取第一物体，使用与机械臂相关联的机载传感器以评估抓取质量，以及基于第一物体的抓取质量的评估，以调整相对于第二物体的抓取位置。控制器基于由固定传感器和机载传感器提供的信息，以自主执行调整抓取位置。

在又一方面，本公开描述了一种机械臂，该机械臂具有设置在机械臂远端的夹持器，该机械臂操作以相对于固定参考系运动夹持器，夹持器适于抓取被设置在抓取区域中的物体，该物体相对于固定参考系是固定的。机械臂还包括固定相机，该固定相机被设置为监视该区域，该固定相机被设置为相对于固定参考系是固定的，该固定相机提供指示物体相对于该区域的位置的视觉信息。机载相机被设置为与机械臂远端上的夹持器一起移动。机载相机被设置为监视该区域并且提供指示物体相对于夹持器的位置的视觉信息。力/力矩传感器被设置在夹持器和机械臂组件的远端之间的夹持器上。

控制器与机械臂组件和夹持器可操作地相关联。控制器操作以控制机械臂和夹持器的操作。控制器还与固定相机、机载相机和力/力矩传感器可操作地相关联，并且被设置为从它们接收信息。该信息指示以下内容：来自于固定相机的物体和夹持器相对于固定系的位置、来自于机载相机的物体相对于夹持器的位置、以及来自于力/力矩传感器的当所述物体被所述夹持器抓取时，所述夹持器在所述远端存在的一个或多个力和一个或多个力矩。

在一个实施例中，控制器被编程为操作机械臂组件以基于固定相机提供的信息将夹持器带到邻近物体的抓取位置，响应于机载相机提供的信息，操作夹持器以抓取物体，根据力/力矩传感器提供给控制器的信息，自主选择夹持器接合的物体上的抓取位置，以及基于力/力矩传感器提供给控制器的信息以估计物体重心的位置。

附图说明

图1是根据本公开的物体拾取系统的示意图。

图2是根据本公开的物体拾取系统的示意图。

图3是根据本公开的控制器的框图。

图4是根据本公开的方法的流程图。

具体实施方式

本公开一般地提供了一种改进拾取工具的物体拾取性能的新的系统和方法，这些拾取工具诸如被设置在机械臂的远端或工作端的夹持器，该系统和方法基于信号的获取和处理，而该信号由与机器人、夹持器、和/或与拾取位置和对象的环境相关联的传感器提供。在一个实施例中，传感器可以包括触觉传感器、力和力矩传感器、视觉传感器(例如相机)等。在根据本公开的系统中，多个传感器输入提供关于物体与机器人的独立信号，该独立信号将由控制器处理和组合以实现定制化抓取的解决方案，该解决方案被实时自动地改善并且随时间可适应于一个以上的物体和抓取配置。

根据本公开的系统和方法被配置和操作，以通过机器人反复试验与传感器反馈来自动生成抓取标签，标记抓取位置而没有通常会由人为标记引入的语义偏差，这优化了涉及几何的抓取质量、抓取物体的静态和动态稳定性，并且通过以离散方式分析传感器数据对多个抓取位置进行排序。这是通过使用多个传感器以测量抓取性能来完成的，这些传感器可以安装在机械臂上或者不在机械臂上，并且提供被集成到单独抓取质量和控制系统中的信号。

在一个总体方面，本公开描述了一种多传感器系统，该多传感器系统操作并且被配置为收集一组数据，以用于在任务试验期间评估抓取性能。传感器系统包括多个(一个以上)传感器，这取决于应用和被抓取物体的类型，该传感器可以从市场上常用的多种传感器中进行选择。可以使用的传感器的示例包括相机、LIDAR、力-力矩传感器、触觉传感器、惯性测量单元或传感器、红外(IR)传感器以及其他光学传感器。这些和其他这样的传感器可以被固定在抓取位置周围和/或被安装到机械臂上。在本公开中，术语“固定”表示固定参考系，在该固定参考系中，机器人组件正在运行。机器人组件因此可以相对于固定参考系以固定(或可动)方式被锚定，例如被锚定到安装在工厂地板上的基座，以及相对于固定参考系移动被设置在机器人组件远端上的工具或夹持器。在这种情况下，被安装在固定位置的传感器可以描述区域所安装的传感器的周围任何位置，而在该区域中机械臂组件正在运行。

各种传感器信号以及这些信号包含的数据被提供给控制器，该控制器被编程和操作以将多个传感器信号合并到统一任务中，该统一任务中的对象是在每次抓取操作期间的物体抓取的性能最高评估，以及根据需要实时调整抓取操作，从而迭代优化一个或多个抓取质量参数。

为了在一个实施例中完成这一点，控制器可以包括一组规则来映射个体感测数据以评估抓取的静态性能，例如物体的配置，包括当抓取结构接触物体时，抓取结构周围的或者相对于抓取结构的抓取物体质量密度分布。控制器还可以包括一组规则来映射个体感测数据以评估当物体被举起时、在三维空间中运动时或被放置时的抓取的动态性能。

动态性能可以在控制器中被定性地表征为以下内容：物体相对于夹持器的错位、物体或夹持器所承受的振动强度、滑动、惯性位移以及其他参数。针对每个抓取操作而确定的抓取操作的静态和动态性能可以在控制器中进行组合，使得在连续抓取之后，可以汇编一系列处理和融合的数据，这些数据指示每次试验的抓取的代表性质量。控制器在一个或多个抓取任务之后自动进行的调整及其在改进抓取操作方面的效果，可以为未来的抓取任务学习和实施，以实现抓取操作的总体迭代优化。

在另一个总体方面，本公开描述了一种通过使用多传感器集成来实时评估和改进抓取技术以改进物体拾取性能的方法。对抓取性能应用优化的尺寸基于被抓取物体的几何形状、在运输过程中抓取和稳定物体所需的作用力、物体质量中心相对于抓取结构的位置、抓取的静态和动态稳定性，以及如上所述，在物体上已经尝试的一个或多个抓取位置的排名等。该方法可以以假设或初始抓取位置、质量中心位置、物体的质量分布以及其他参数作为种子，然后在执行连续抓取任务时自动改进每个参数。

图1中示出了根据本公开的抓取系统100的一个实施例的轮廓图。抓取系统100，被部分地示出以集中于其相对于本公开的突出方面，抓取系统100包括机械臂组件102(部分示出)，该机械臂组件102具有第一臂段104和第二臂段108，第一臂段104和第二臂段108通过第一关节110被彼此相互连接。设置在第二臂段108的远端或末端处的第二关节112支撑夹持器114，该夹持器114在所示实施例中包括两个抓取爪116，但是可以使用其他配置、设备或者更多个爪。

致动器(未示出)以传统方式被用于选择性使两个臂段104和108以及夹持器114相对于彼此运动或平移，使得夹持器114可以被移动并且定位在三维空间中的一个或多个期望位置和期望取向，该期待位置和取向由与机械臂组件102相关联的控制器106选择性地确定。在一个实施例中，期望位置(沿X、Y和Z轴)可以被表示为它的关联坐标(例如，其X、Y和Z坐标)，期望取向可以被表示为围绕这三个轴中的每一个的角位置，以及期望行进路径可以包括从一个位置行进到另一个位置时在三维上的跟踪曲线或其他函数。

在所示实施例中，控制器106被示意性示出，并且可以被定位在机械臂组件上，或者更典型地，作为一个独立器具，它是通信地或者是一般地可操作的，以与机械臂组件相关联。控制器106可以是电子控制器，该控制器可以包括可编程逻辑能力。控制器106可以是单个控制器，或者可以包括一个以上的控制器，该控制器被设置为控制机械臂的组件102和/或周围以及相关联的机器或系统的各种功能和/或特征。例如，被用于控制一过程的总体操作和功能的主控制器，该主控制器可以使用机械臂控制器被协同地实现，该机械臂控制器被用于控制机械臂102组件。在此实施例中，术语“控制器”是指包括一个、两个、或更多个控制器，该控制器一般与夹持器114和机械臂组件102相关联，并且可以协同控制各种功能和操作。虽然在本公开内容中控制器106的功能被概念性地示出，例如，在下面图3中讨论的，包括仅用于说明目的而包含各种离散功能，但是该控制器106可以以硬件和/或软件来被实现而不考虑所示的离散的功能。因此，控制器的各种接口是相对于在图3的框图中所示的系统的部件进行说明。这些接口并不旨在限制被连接部件的类型和数目，也不旨在限制所描述的控制器的数量。

当抓取系统100在使用中时，物体118被呈现以供夹持器114抓取。物体118具有质量120中心并且可以采用任何形状。例如，物体118可以具有简单的几何形状或更复杂的形状，该形状包括壁、空腔或任何其它形状。此外，依赖于所使用的过程，物体118可以以固定状态被呈现以供抓取，或者备选地当被呈现以供抓取时，物体118是运动的，例如，如果物体118由正在运动的环形输送机122段运输，环形输送机122段可以包括带、家具、平台等，环形输送机122段连续地或间歇地相对于地面参考点移动物体118。

相对于物体118定位夹持器114所遵循的过程或步骤，以及用夹持器114抓取物体118的动作是本公开的一个方面。为了完成抓取任务，系统100包括各种传感器，该各种传感器与控制器106通信连接并且向控制器106提供信息，控制器106接收、处理和使用这些信息，以确定使用夹持器114抓取物体118的任务的改进。

更具体地，系统100包括与机械臂组件102相关的机载传感器和固定传感器两者。在图1所示的示例性实施例中，固定传感器包括视觉传感器或相机124，该视觉传感器或相机124被安装在区域中的固体表面或壁126，以靠近物体118的抓取位置。附加的或不同的固定传感器可以包括接近传感器，该接近传感器用于在物体接近夹持器114时检测物体118，速度传感器，该属于传感器用于检测输送机122的速度和/或加速度等。还如图1所示，机载传感器被附接并且随机械臂组件102的部分一起移动，该机载传感器包括触觉传感器128、力/力矩传感器130以及视觉传感器或相机132。附加的或不同的机载传感器也可以被使用并且可以包括目标传感器、加速度、振动、噪声、磁场和/或其他传感器。固定传感器(例如相机124)和机载传感器(例如触觉传感器128、力/力矩传感器130和相机132)两者都与控制器106具有有线或无线连接，使得在操作期间由传感器产生的信号或其他指示将被实时通信到控制器106。

在所示的实施例中，传感器信号向控制器106指示物体118的位置、形状和取向。更具体地，固定相机124在物体118接近物体抓取区域时，捕获与物体118的位置和速度相关的图像或视频信息。在运动的输送机122运载物体进入抓取区域的情况下，在输送机122上形成标记并且该标记随着输送机122移动，以及被设置在传送器上的物体118可以由相机124捕获在视频信号中，该视频信号被提供给控制器106。基于该信息，控制器106可以创建实时识别对象118的位置的空间序列。控制器106然后可以使用该位置信息来将夹持器138移动到接近物体现在或者将来所在位置的大致位置，以供进行抓取操作。来自相机124的图像还可以被用于识别物体的轮廓，从而可以在控制器106中进行质量分布的估计以及物体的重心的估计。

在讨论机载传感器的功能之前，值得一提的是，控制器106可以体现为在硬件和软件实施方式中实现的技术，并且旨在检测图像中的对象。在一个示例性实施方式中，控制器可以处理图像或视频馈送并且以逐帧分析比较连续帧以检测物体的位置和运动。备选地，控制器可以单独处理每一帧以单独推断每一帧中物体的位置。通常，来自固定传感器诸如相机124的信息被用于设置和跟踪与物体相关的目标，控制器106使用该信息将夹持器114移动到期望的抓取位置。

在夹持器114已被正确放置以抓取物体118之后，机载传感器改进夹持器114相对于物体118的定位，并且还产生指示物体抓取的质量和稳定性的信号。值得注意的是，夹持器114的放置是相对于物体118进行的，无论物体是固定的还是以输送机122的速度移动，在这种情况下，夹持器114的放置也将涉及运动，以匹配输送机上的物体的方向和速度。

在一个示例性但非限制性的实施例中，当夹持器114已经相对于物体118被放置时，触觉传感器128在所示实施例中包括感测须的，该触觉传感器128可以与物体118产生第一接触，以确认物体118实际存在于预期位置。机载相机132，其操作与固定相机124相似，可以被用于视觉监测夹持器接近物体的情况，以及还确认物体具有用于抓取的预期类型和形状。当物体118被设置在夹持器114的夹爪之间时，该夹爪被闭合以接合在夹爪之间的物体118。夹爪的抓取力以及夹爪闭合的速度和程度被控制器106控制。

随着物体118被接合在夹持器114中，机械臂组件102可以从输送机122提升物体118。在提升操作期间，力/力矩传感器130可以监测物体118的重量以及物体对夹持器114的茎部施加的任何弯曲力矩。应当理解，重心120趋向于对准以及接近夹持器114的茎部，弯曲力矩将减小，但是随着远离中心120所在的夹持器114的茎部，弯曲力矩将增大。

重心120相对于物体118的位置，以及重心120与杆部136在三维上的距离，取决于由控制器选择的抓取位置，该抓取位置是控制器106通过连续抓取，以基于由力/力矩传感器130感测到的弯曲力矩而可以确定和优化的参数。此外，即使物体在抓取时摆动或滑动，传感器130也可以感测振动。所有这些输入都可以由控制器自主调整，以提高抓取质量。例如，控制器可以选择用于抓取物体的增量位移位置，以及观察在连续抓取之间弯曲力矩是增加还是减少。如果力矩正在增加，则被选择的抓取位置离重心更远，在这种情况下，沿着相反方向再次调整抓取位置。当由夹持器承载的负载的滑动或移动时，可以继续这些调整并将改进采用作为新的抓取位置，即不改变物体相对于夹持器的位置和方向

图2中示出了系统100的备选实施例，其中使用了不同的夹持器配置以及不同的机载传感器。在本实施例中，与图1所示实施例所示和描述的相应结构和特征相同或相似的结构和特征，为简单起见，将由先前使用的相同附图标记表示。在该实施例中，夹持器138包括抽吸设备138，该抽吸设备也可以备选地被实施为用于拾取黑色金属物体的电磁体。抽吸设备138可以包括杯件，通过泵(未示出)从杯件中抽空空气，使得当杯件的开口端压靠物体118的表面时产生低压或真空以接合物体。杯件的大小和真空的强度可以基于提升和操纵物体所需的提升力来选择。

虽然某些传感器，例如图2的实施例中的机载相机132，可以以与先前图1描述的相同或相似的方式操作，也可以使用附加传感器。例如，当使用包含用于吸力接合的柔性杯件的夹持器138时，如上所述，与吸盘138相关联的惯性传感器140可以被用于指示在物体被接合在夹持器上时是否发生物体的摆动。

图3示出了可以在控制器106内操作的控制200的框图。控制200可以以计算机可执行指令的形式在硬件或软件中被实现。基本部件或系统诸如处理器、存储器、通信设备、模拟或数字传感器接口等可以以典型方式有助于或促进控制200的操作，但为了简单起见在此不详细讨论。

控制200包括多个输入202，该多个输入202表示由监测抓取操作的各个固定传感器和机载传感器提供给控制200的信号和/或其他信息，如上相关图1和图2的讨论。传感器输入202由控制处理，以最终提供多个命令信号204，该命令信号204被转发到系统100中的各个致动器，以使机械臂102和相关系统在执行任务诸如抓取操作时移动和操作。传感器输入202被提供给多路复用器206。传感器输入202中的每一个传感器输入202可以以原始形式(例如视频馈送)或者过滤和/或分析的形式(诸如指示视频馈送中捕获的物体的位置以及(如果适用)速度的信息)来提供。取决于监测的参数各种其它的传感器可提供相似的输入。

多路复用器206将各种传感器输入202组合并且将其分发到一个或多个执行各种功能的子控制器中。在所示的实施例中，控制器200包括第一子控制器208或定位控制器，其任务是在三维空间中定位物体并且将夹持器引导到物体可以被抓取的位置。定位控制器208的操作可以包括各种离散功能，这些功能基于传感器信号，以处理以及执行各种操作，这些传感器诸如在图1和图2所示的实施例描述的各种固定和/或机载传感器。

更具体地，位置控制器208可以从相机124和132、触觉传感器128和/或其他传感器，接收指示物体118(图1)的固定或行进位置的信息。作为响应，或者基于这些信号，位置控制器208可以向运动机械臂组件102的各个部分的各种致动器提供命令204，以将夹持器114或138移动到靠近物体的位置，并且命令激活夹持器，以接合物体118。在操作期间，定位控制器208做出的输入、命令以及估计可以被存储在存储设备210中或在存储设备210中取回。存储设备210可以包括各种参数的初值，该初值与用于抓取的夹持器的定位相关，在操作期间随着每次连续抓取操作或其子集，该初值被更新和/或调整。

来自多路复用器206的信息也被提供给第二子控制器212或抓取标签控制器，其任务是确定应该当抓取的物体的期望位置。更具体地，在一个实施例中，抓取标签控制器212与定位控制器208协作以识别夹持器114或138与物体118之间的特定接合区域。为了完成该任务，抓取标签控制器212可以使用预定义信息或视觉信息来推断物体的重心位置，使得在夹持器和物体之间的一个或多个接触区域可以围绕重心被对称布置。提供给抓取标签控制器212和存储器设备210之间的更新的信息可以用一个或多个连续抓取迭代地更新以到达抓取标签，该抓取标签包括夹持器与物体接触的位置，该位置(尽可能)接近围绕物体的重心对称排列。例如，基于物体的形状，抓取标签控制器可以通过视觉信息诸如图片或视频，以推断物体的质量中心靠近物体的几何中心，如通过图片确定。然后可以基于抓取稳定性信息的连续抓取来完善该原始假设。

抓取稳定性信息可以在第三子控制器214或稳定性控制器中被确定。稳定性控制器214与定位控制器208、抓取标签控制器212以及存储设备210通信，以根据需要调整夹持器与物体交互的定位和位置，以通过在连续抓取过程中执行的一次或多次迭代，以优化抓取的稳定性质。更具体地，稳定性控制器214可以从力/力矩传感器130和/或振动或惯性传感器(多个)140接收信息，以确定物体是否稳定并且牢固地与夹持器114或138接合。当确定抓取不如期望的稳定时，例如，当感测到抓取物体的晃动或运动时，稳定性控制器214可以存储需要调整的指示，然后该指示将被定位控制器208取回并且利用，以调整物体的接近方式，并且被抓取标签控制器212取回并且利用，以调整物体上的抓取位置。

通过定位驱动器216、抓取标签生成器218和稳定性驱动器220，与定位、抓取标签生成和施加在物体上的抓取的稳定性相关的信息例如从存储设备210发送或取回。这些驱动器可以是现有机械臂系统的一部分或被内置于现有机械臂系统中，并且基于由子控制器208、212和214确定的信息进行操作，以通过驱动器设备222生成命令信号204，该命令信号204影响机械臂组件102在操作期间的各种操作以及运动和操作的调整。在一个实施例中，驱动器216、218和220执行与子控制器208、212和214相似的功能，但是对于随后的抓取操作，可以实现在上次抓取期间被认为需要的任何调整。

因此，如前所述，定位驱动器216可以基于在三个子控制器208、212和214中确定的估计和调整，以接收针对每个连续抓取操作来放置和操作夹持器的信息。类似地，抓取标签驱动器218可以在操作期间记录和监测特定物体上不同抓取位置的历史，以及调整与抓取位置相关的各种参数，例如抓取强度、夹持器上多个手指的运动顺序等。稳定性驱动器220可以基于历史数据和迭代调整以特定顺序并且以特定位移率来操作各种致动器。所有这些功能都可以在学习算法中实现，例如回归算法，或者备选地可以在固定的计算机可执行指令中编码。在完成抓取操作后，可以在存储设备210中更新各种相关参数，诸如物体的形状、物体的重心位置、物体上的期望抓取位置等，以供子控制器208、212和214使用。

图4示出了使用与机械臂组件相关联的夹持器来抓取物体的方法的流程图。根据该方法，抓取过程可以包括在302处对物体的位置和/或行进速度的初始估计。如前所述，物体的空间位置的实时确定可以由固定传感器(例如相机)执行，该传感器收集被抓取物体相对于固定参考系的视觉数据，和/或使用安装在机器人上的相机收集物体相对于被附接到机器人上的夹持器的视觉数据。一个或多个相机数据可以由视觉软件处理，该视觉软件可以针对每个抓取操作或试验实时地确定和提供指示物体的位置和取向的信息。

基于这样的信息，在304处由夹持器抓住物体，并且在306处确定抓取的质量。可以使用各种传感器来实现这些操作。例如，触觉传感器可以被用于检测物体与夹持器的物理接近度，力/力矩传感器可以被用于测量平移和取向坐标系两者中的重力和惯性力。触觉传感器可以检测物体相对于夹持器的运动，这可能包括振动、物体移动/错位、或撞击。这些传感器数据由传感器数据处理软件处理，用于在304和306处对物体抓取的性能进行评估。依赖于使用的夹持器的类型，例如吸盘，具有小占地面积的微机械惯性测量单元可以被安装在吸盘上以检测吸盘的任何动态位移和运动，这将转化为物体相对于吸盘的运动。这些传感器数据将由传感器数据处理软件进行处理，以用于对所考虑的测试物体进行性能评估。

在306处关于抓取质量的结论以及对后续抓取的适当调整，在308处通过学习或自动调整算法被实现，从而可以调整了后续抓取以提高抓取质量以及减少不良影响，例如在机械臂将物体从一个位置转移到另一个位置期间的抓取物体的负载偏移或振动(仅举几例)。

选择本公开中描述的各种传感器是因为它们能够提供指示抓取质量的功能参数。然而，应当理解，取决于被抓取的物体的类型以及所使用的夹持器的类型，也可以使用附加的或不同的传感器。针对图1和图2所示的实施例，例如，固定相机124可以被用于在不同情况下提供物体和机器人的过滤图像。例如，该信息可以由定位控制器208解释，以确定以及调整或优化关于机器人的运动和/或夹持器的操作的抓取顺序。该功能的性能可以被量化或指标化，以推断机器人的相对配置、被附接到机器人的夹持器或工具、工作台以及物体的离散状态指标。

类似于固定相机，安装相机132(图1)可以在不同情况下提供物体的过滤图像，从而可以评估和监测物体相对于夹持器的位置和取向的一致性。基于该信息的性能指标可以包括物体的固定、平移、旋转或滑动的定性指标，以及推断的物体的被抓取部分相对于其重心的接近度。力/力矩传感器，诸如传感器130(图1)，可以提供三个方向上的力和力矩数据，以测量被抓取物体的重力和扭转稳定性，因为这与抓取相对于物体重心的接近度和取向有关。触觉传感器128(图1)可以被用于检测物体相对于夹持器的滑动或错位，这可能是由于抓取位置与重心的接近度以及相对于夹持器的任何结果力矩的影响而引起的。可以使用惯性单元140(图2)，该惯性单元140包括3个加速度计、1个或2个陀螺仪、倾斜传感器等，该惯性单元140可以在抓取期间和在机器人运动时提供物体的动态行为的指示。

在此引用的所有参考文献，包括出版物、专利申请和专利，都以相同的程度通过引用并入本文，就好像每个参考文献被单独地和具体地指示为通过引用并入并在此整体阐述一样。

在描述本发明的上下文中(尤其是在以下权利要求的上下文中)，术语“一”和“一个”和“该”和“至少一个”以及类似指代的使用应被解释为涵盖以下两个方面：单数和复数，除非本文另有说明或与上下文明显矛盾。使用术语“至少一个”后跟一个或多个项目的列表(例如，“A和B中的至少一个”)应被解释为表示从所列项目(A或B)中选择的一个项目)或两个或更多个所列项目(A和B)的任何组合，除非本文另有说明或与上下文明显矛盾。除非另有说明，否则术语“包括”、“具有”、“包括”和“包含”应被解释为开放式术语(即，含意为“包括但不限于”)。除非本文另有说明，否则本文对数值范围的引用仅旨在作为单独提及落入该范围内的每个单独值的速记方法，并且将每个单独值并入说明书中，就好像其在本文中单独引用一样。除非本文另有说明或与上下文明显矛盾，否则本文所述的所有方法都可以以任何合适的顺序进行。除非另有声明，否则本文中提供的任何和全部示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本发明并且不对本发明的范围构成限制。说明书中的任何语言都不应被解释为表明任何未要求保护的元素对于本发明的实践是必不可少的。

此处描述了本发明的优选实施例，包括发明人已知的用于实施本发明的最佳模式。通过阅读上述描述，那些优选实施例的变化对于本领域的普通技术人员来说是显而易见的。发明人期望技术人员适当地采用这种变化，并且发明人打算以不同于本文具体描述的方式来实践本发明。因此，本发明包括在适用法律允许的情况下所附权利要求中记载的主题的所有修改和等效物。此外，除非本文另有说明或与上下文明显矛盾，否则本发明涵盖上述要素的所有可能变化形式的任何组合。

Claims (20)

1.一种物体抓取系统，包括：

具有远端的机械臂组件，所述远端能够选择性地由所述机械臂相对于固定系运动；

夹持器，所述夹持器被设置在所述远端上，所述夹持器适于抓取位于区域中的物体；

固定传感器，所述固定传感器被设置为监测所述区域，并且相对于所述固定系以固定方式被定位；

第一机载传感器，所述第一机载传感器被设置为与所述机械臂的所述远端上的所述夹持器一起运动，所述第一机载传感器被设置为监测所述区域；以及

控制器，所述控制器与所述机械臂组件和所述夹持器可操作地相关联，并且操作以控制所述机械臂组件和所述夹持器的操作；

所述控制器还与所述固定传感器和所述第一机载传感器可操作地相关联，并且被布置成从所述固定传感器和所述第一机载传感器接收信息，所述信息指示所述物体和所述夹持器相对于所述固定系的位置以及所述物体相对于所述夹持器的位置，所述控制器被编程为：

基于所述固定传感器提供的信息，操作所述机械臂组件，以将所述夹持器带到邻近所述物体的抓取位置；以及

响应于所述第一机载传感器提供的信息来操作所述夹持器以抓取所述物体。

2.根据权利要求1所述的物体抓取系统，其中所述固定传感器是向所述控制器提供视觉信息的相机，所述视觉信息指示所述物体相对于与所述固定系相关的三维空间中的空间位置。

3.根据权利要求1所述的物体抓取系统，其中所述第一机载传感器是安装在所述机械臂组件的所述远端上邻近所述夹持器的相机，并且其中所述第一机载传感器向所述控制器提供指示所述物体相对于所述夹持器的位置的视觉信息。

4.根据权利要求1所述的物体抓取系统，还包括力/力矩传感器，所述力/力矩传感器被设置在所述夹持器上且在所述夹持器和所述机械臂组件的所述远端之间，当所述物体被所述夹持器抓取时，所述力/力矩传感器通过所述夹持器向所述控制器提供信息，所述信息指示存在于所述远端处的一个或多个力以及一个或多个力矩。

5.根据权利要求4所述的物体抓取系统，其中所述控制器还被编程为基于由所述力/力矩传感器提供给所述控制器的信息，自主选择所述物体上的抓取位置，所述抓取位置由所述夹持器接合。

6.根据权利要求5所述的物体抓取系统，其中所述控制器还被编程为基于由所述力/力矩传感器提供给所述控制器的信息来估计所述物体的重心位置。

7.根据权利要求1所述的物体抓取系统，还包括触觉传感器，所述触觉传感器被设置在所述机械臂组件上邻近所述远端，所述触觉传感器向所述控制器提供指示所述物体相对于所述夹持器的位置的信息，其中所述控制器还被编程为：基于所述触觉传感器提供给所述控制器的、针对由所述夹持器接合的先前物体的信息，以调整所述夹持器已经接合的后续物体上的抓取位置。

8.根据权利要求1所述的物体抓取系统，还包括惯性传感器，所述惯性传感器被设置在所述夹持器上，所述惯性传感器向所述控制器提供指示所述物体相对于所述夹持器的位置的信息，其中所述控制器还被编程为：基于所述惯性传感器提供给所述控制器的、针对由所述夹持器接合的先前物体的信息，以调整所述夹持器已经接合的后续物体上的抓取位置。

9.一种用于使用夹持器抓取物体的方法，所述夹持器设置在机械臂组件的远端，所述方法包括：

使用固定传感器来确定物体相对于固定参考系的空间位置；

使用所述固定传感器来确定被附接到机械臂的远端的夹持器相对于所述物体的位置；

激活所述机械臂以将所述夹持器移动到相对于第一物体的抓取位置；

使用所述夹持器抓取所述第一物体；

使用与所述机械臂相关联的机载传感器来估计所述抓取的质量；以及

基于对所述第一物体的所述抓取的所述质量的所述评估来调整相对于第二物体的所述抓取位置；

其中基于由所述固定传感器和所述机载传感器提供的信息，以通过控制器来自主执行调整所述抓取位置。

10.根据权利要求9所述的方法，其中所述机械臂具有远端，所述远端能够选择性地由所述机械臂相对于固定系运动，并且其中所述控制器还被设置为提供所述机械臂的激活运动和所述机器人的操作的命令。

11.根据权利要求9所述的方法，其中通过由相对于所述固定系固定的固定传感器提供给所述控制器的视觉信息来完成确定所述物体的空间位置。

12.根据权利要求11所述的方法，其中至少部分地基于由所述固定传感器提供的视觉信息、以及还基于所述机载传感器提供给所述控制器的视觉信息来完成确定所述夹持器相对于所述物体的所述位置，其中所述机载传感器被配置为与所述机械臂一起移动。

13.根据权利要求9所述的方法，其中调整所述抓取位置包括：当所述物体被所述夹持器抓取时，在所述控制器中处理信息，所述信息指示所述夹持器在所述远端存在的一个或多个力和一个或多个力矩，所述信息由所述力/力矩传感器提供，所述力/力矩传感器被设置为用于在所述夹持器和所述远端之间进行测量。

14.根据权利要求13所述的方法，还包括使用控制器估计第一物体的重心，以及基于所述估计来调整所述第二物体上的所述抓取位置。

15.根据权利要求14所述的方法，其中估计所述重心是基于当所述第一物体被抓取在所述夹持器中时由所述力/力矩传感器提供的所述信息。

16.根据权利要求9所述的方法，还包括触觉传感器，所述触觉传感器被设置在所述机械臂上邻近所述远端，所述触觉传感器向所述控制器提供指示所述第一物体相对于所述夹持器的位置的信息，其中调整所述抓取位置是基于从所述触觉传感器提供给所述控制器的信息。

17.根据权利要求16所述的方法，其中所述触觉传感器操作以感测所述第一物体相对于所述夹持器的滑动。

18.一种机械臂，所述机械臂在其远端设置有夹持器，所述机械臂操作以相对于固定参考系移动所述夹持器，所述夹持器适于抓取被设置在抓取区域中的物体，所述抓取区域相对于所述固定参考系固定，所述机械臂还包括：

固定相机，所述固定相机被设置为监视所述区域，所述固定相机被设置相对于所述固定参考系固定，所述固定相机提供指示所述物体相对于所述区域的位置的视觉信息；

机载相机，所述机载相机被设置为与所述机械臂的所述远端上的所述夹持器一起移动，所述机载相机被设置为监测所述区域，所述机载相机提供指示所述物体相对于所述夹持器的位置的视觉信息；

力/力矩传感器，所述力/力矩传感器被设置在所述夹持器和所述机械臂组件的所述远端之间的所述夹持器上；以及

控制器，所述控制器可操作地与所述机械臂和所述夹持器相关联，所述控制器操作以控制所述机械臂和所述夹持器的操作；

所述控制器还可操作地与所述固定相机、所述机载相机以及所述力/力矩传感器相关联，所述控制器被设置为从其接收指示以下内容：

来自于所述固定相机的、所述物体和所述夹持器相对于所述固定系的位置，

来自于所述机载相机的、所述物体相对于所述夹持器的位置，以及

来自于所述力/力矩传感器的、当所述物体被所述夹持器抓取时，所述夹持器在所述远端存在的一个或多个力和一个或多个力矩；

所述控制器被编程为：

基于由所述固定相机提供的信息，操作所述机械臂组件，以将所述夹持器带到邻近所述物体的抓取位置；

响应于由所述机载相机提供的信息，操作所述夹持器以抓取所述物体；

基于所述力/力矩传感器提供给所述控制器的信息，自主选择所述物体上的抓取位置，所述抓取位置由所述夹持器接合；以及

基于所述力/力矩传感器提供给控制器的所述信息，以估计所述物体的重心的位置。

19.根据权利要求18所述的机械臂，还包括触觉传感器，所述触觉传感器被设置在所述机械臂上邻近所述远端，所述触觉传感器向所述控制器提供信息，所述信息指示所述物体相对于所述夹持器的位置，其中所述控制器还被编程为：基于所述触觉传感器提供给所述控制器的与由所述夹持器接合的先前物体相关的信息，以调整所述夹持器已经接合的后续物体上的抓取位置。

20.根据权利要求18所述的机械臂，还包括惯性传感器，所述惯性传感器被设置在所述夹持器上，所述惯性传感器向所述控制器提供指示所述物体相对于所述夹持器的位置的信息，其中所述控制器还被编程为：基于所述惯性传感器提供给所述控制器的与由所述夹持器接合的先前物体相关的信息，以调整所述夹持器已经接合的后续物体上的抓取位置。

Images