CN111770814A - 校准移动机械手的方法 - Google Patents

校准移动机械手的方法 Download PDF

Info

Publication number
CN111770814A
CN111770814A CN201980015593.XA CN201980015593A CN111770814A CN 111770814 A CN111770814 A CN 111770814A CN 201980015593 A CN201980015593 A CN 201980015593A CN 111770814 A CN111770814 A CN 111770814A
Authority
CN
China
Prior art keywords
robot
depth information
depth
cloud
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980015593.XA
Other languages
English (en)
Inventor
乔纳森斯科特·凯莉
奥利弗·莉姆奥优
特雷弗·阿布利特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Toronto
Original Assignee
University of Toronto
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Toronto filed Critical University of Toronto
Publication of CN111770814A publication Critical patent/CN111770814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/046—Revolute coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种校准机械手和外部传感器的方法。所述方法包括：使用深度信息生成第一点云图，所述深度信息是使用深度传感器收集的；和使用接触信息生成第二点云图，所述接触信息是使用接触传感器收集的，所述接触传感器耦合在所述机械手的末端执行器上。之后，使用迭代最近点算法对准所述第一云图和所述第二云图来恢复外部参数。所述深度传感器相对于所述机械手的基座框架是固定的，并且对应于刚性结构的深度信息是通过对所述机械手导航，捕捉来自多个有利点的深度信息而收集的。所述接触信息是通过使所述机械手的末端执行器在所述刚性结构上移动而收集的。

Description

校准移动机械手的方法
技术领域
本专利公开的主旨主要涉及机器人机械手。更具体但非排他地，主旨涉及校准外部传感器关于机器人机械手的基座和末端执行器的相对位置与方向。
背景技术
如果解决了某些挑战，则协作移动机械手有可能在工厂环境之外变得无处不在。这些挑战之一就是校准。取决于平台，校准可能涉及确定固有的(例如，相机焦距)和外在的(即，相对姿势)传感器参数，以及机械手臂的运动学参数(例如，关节偏置和连杆长度偏移)。
当前，人身安全的机器人机械手，无论是固定基座单元还是移动式的，无论它们所依赖的视觉传感器如何，在安装时都需要繁琐的手动校准。必须确保这种机械手可以按指定精度水平执行任务，并希望保持这种精度。已知手动校准和/或在预定的校准区域中执行的校准可以实现精确操作；然而，它们的成本很高。这些选项需要额外的人员、设备和时间。因此，它们总体上较为昂贵，并且降低了机器人系统的灵活性。
此外，大多数校准参数可能会在机器人的整个寿命周期内发生变化。例如，这种变化可能是由于一般磨损造成的。因此，需要以定期间隔进行校准以执行具有所需精度水平的任务。有效补偿这些变化的一种方法是采用自校准技术，其中机器人机械手仅使用其机载硬件独立地进行校准。
已经针对某些传感器组合，包括激光雷达、相机和惯性测量单元，证明了可靠的自校准。参考，Nicholas Roy和Sebastian Thrun的“Online Self-Calibration for MobileRobots”，Proc.IEEE Int.Conf.Robotics and Automation,1998；J.Kelly等人的“Visual-Inertial Sensor Fusion:Localization,Mapping and Sensor-to-Sensor Self-Calibration”，Int.J.Rob.Res.,vol.30,no.1,pp.56–79,2011；M.Sheehan等人的“Self-Calibration for a 3D Laser”，Int.J.Rob.Res.,vol.31,no.5,pp.675–687,2011；以及J.Lambert等人的“Entropy-Based Sim(3)Calibration of 2D lidars to EgomotionSensors”，Proc.IEEE Int.Conf.Multisensor Fusion and Integration forIntelligent Systems,2016,pp.455-461。
尽管针对感测应用的自校准取得了成功，但针对移动平台的组合式传感器-执行器自校准工作却相对较少。传统的机械手的固有校正或运动学模型校正在工业环境中具有悠久的历史，如B.W.Mooring,Z.S.Roth等人在下列文献中公开的，“Fundamentals ofManipulator Calibration”，Wiley-Interscience,1991，所有这些方法都需要专门的外部测量装置和训练有素的人类操作者。
类似地，相对于机械臂的末端执行器，传感器(例如，相机)外部校准的大部分工作通常利用外部基准标记，如V.Pradeep等人在下列文献中公开的，“Calibrating a Multi-arm Multi-Sensor Robot:A Bundle Adjustment Approach”，in InternationalSymposium on Experimental Robotics(ISER),New Delhi,India,2010。可替代地，专用硬件附件利用如P.Pastor等人在下列文献中公开的，“Learning Task Error Models forManipulation”，in Proc.IEEE Int.Conf.Robotics and Automation,2013,pp.2612–2618。此外，专用设备的使用如J.-S.Hu等人在下列文献中所公开的，“AutomaticCalibration of Hand–Eye–Workspace and Camera Using Hand-Mounted Line Laser”，IEEE/ASME Transactions on Mechatronics,vol.18,no.6,pp.1778–1786,2013。然而，使用辅助设备(通常不容易获得)使得这些方法不如自校准有吸引力。
对于“手眼标定”系统(将相机连接到末端执行器)以及固定外部相机，已经对执行器相机的外部校准进行了很好的研究。对于这两种配置，大多数校准技术都利用基准标记来促进末端执行器的定位，如下列文献中所公开的：S.Kahn等人，“Hand-eye Calibrationwith a Depth Camera:2D or 3D？”，Proc.IEEE Int.Conf.Computer Vision Theory andApplications(VISAPP),2014,vol.3,2014,pp.481–489；和O.Birbach等人，“Rapidcalibration of a multi-sensorial humanoids upper body:An automatic and self-contained approach”，nt.J.Rob.Res.,vol.34,no.4-5,pp.420–436,2015。在“手眼标定”情况下，机械手的EE运动可以与相机的运动耦合，从而允许使用运动技术中的结构来恢复变换，如下列文献中所公开的：J.Heller等人，“Structure-from-motion based hand-eyecalibration using L∞minimization”，Proc.IEEE Conf.Computer Vision and PatternRecognition,2011,pp.3497–3503；和J.Schmidt等人，“Calibration–Free Hand–EyeCalibration:A Structure–from–Motion Approach”，Joint Pattern RecognitionSymposium,Springer,2005,pp.67–74。不幸的是，这些方法不适用于固定相机。
O.Birbach等人在“Rapid calibration of a multi-sensorial humanoidsupper body:an automatic and self-contained approach”，Int.J.Rob.Res.,vol.34,no.4-5,pp.420–436,2015中公开了使用末端执行器上的内置基准标记确定固定相机的变换。然而，缺点在于末端执行器需要始终保持在相机的视野中。
继续进行机械手运动学模型校准，通常使用高精度的外部测量装置来跟踪末端执行器，在某些情况下可提供高达亚毫米的精度，如下列文献中公开的：A.Nubiola等人，“Absolute robot calibration with a single telescoping ballbar”，PrecisionEngineering,vol.38,no.3,pp.472–480,2014；和M.Gaudreault等人，“Local and Closed-Loop Calibration of an Industrial Serial Robot using a New Low-Cost3DMeasuring Device”，Proc.IEEE Int.Conf.Robotics and Automation,2016,pp.4312–4319。然而，如此高的准确性在协作、人身安全的平台中可能不是必需的，在这些平台中，目标任务通常是抓取对象。此外，无需其他设备即可自动校准具有多个优点。
过去已经探索了在感知、运动计划和操纵的背景下使用接触。K.T.Yu等人在“Shape and Pose Recovery from Planar Pushing”，Proc.IEEE/RSJInt.Conf.Intelligent Robots and Systems,2015,pp.1208–1215中已经利用接触测量的局部但详细的性质来恢复可移动平面物体的形状和姿势，并从同时定位和制图(SLAM)技术中汲取了灵感。类似地，接触已与视觉结合，以提供用于跟踪对象的多模式策略，如下列文献中公开的：G.Izatt等人，“Tracking Objects with Point Clouds from Vision andTouch”，Proc.IEEE Int.Conf.Robotics and Automation,2017,pp.4000–4007；和M.C.Koval等人，“Pose Estimation for Contact Manipulation with ManifoldParticle Filters”，Proc.IEEE/RSJ Int.Conf.Intelligent Robots and Systems,2013,pp.4541–4548。在这些论文中，当机器人的机械手最有可能遮挡物体时，接触会在抓握时提供信息，从而对视觉起到补充作用。A.Roncone等人在“Automatic kinematic chaincalibration using artificial skin:self-touch in the iCub humanoid robot”，Proc.IEEE Int.Conf.Robotics and Automation,2014,pp.2305–2312中在人形机器人头部上采用触觉皮肤，以校准手臂运动链。
此外，点云配准的准确性、收敛性和可观察性已经在机器人技术和图形学中得到了很好的研究，如下列文献中公开的：P.J.Besl等人，“A Method for Registration of 3-D Shapes”，IEEE Trans.Pattern Analysis and Machine Intelligence,vol.14,no.2,pp.239–256,1992；和Y.Chen等人，“Object Modeling by Registration of MultipleRange Images”，Proc.IEEE Int.Conf.Robotics and Automation,1991,pp.2724–2729。在下列文献中提出了点对点和点对平面成本函数的可观性导数，并表明它们与成本函数的黑森州矩阵的特征值和特征向量有关：A.Censi“An Accurate Closed-Form Estimate ofICP’s Covariance”，Proc.IEEE Int.Conf.Robotics and Automation,2007,pp.3167–3172；和S.Bonnabel等人，“On the Covariance of ICP-Based Scan-MatchingTechniques”，2014.arXiv:1410.7632[cs.CV]。类似地，在给定常见表面类型的情况下，对配准的可观察性进行了研究，并由下列文献确定了相应的不受约束或不可观察的表面运动方向：N.Gelfand等人，“Geometrically Stable Sampling for the ICP Algorithm”，Proc.Int.Conf.3-D Digital Imaging and Modeling,2003,pp.260–267；以及S.Rusinkiewicz等人，“Efficient Variants of the ICP Algorithm”，Proc.Int.Conf.3-D Digital Imaging and Modeling,2001,pp.145–152。结果表明配准质量与使用的点的选择有关，并且详细介绍了稳定的采样策略。使用非刚性来通过将相机校准错误视为非刚性变形来更准确地对准两个3D扫描：B.J.Brown等人，“Global Non-Rigid Alignment of 3-DScans”，ACM SIGGRAPH 2007Papers,ser.SIGGRAPH’07,New York,NY,USA:ACM,2007。
鉴于前述内容，需要一种改进技术，该技术能够在不使用附加硬件的情况下，自动地将机械手末端执行器校准到外部安装的深度传感器。
发明内容
在本发明的一个实施例中，公开了一种校准机械手和外部传感器的方法，所述方法包括下列步骤：使用深度信息生成第一点云图；使用接触信息生成第二点云图；以及通过对准所述第一张图和所述第二张图来恢复外部参数。
在本发明的一个方面，生成所述第一点云图包括使用深度传感器收集所述深度信息。
在本发明的另一方面，所述深度传感器相对于所述移动机械手的基座框架固定。
在本发明的另一方面，收集所述深度信息包括收集对应于刚性结构的深度信息。
在本发明的另一方面，生成所述第二点云图包括通过使所述(移动)机械手的末端执行器在所述刚性结构上移动来收集所述接触信息。
在本发明的另一方面，所述深度信息是从单个或从多个有利点收集的。
在本发明的另一方面，将所述第一云图和所述第二云图对准包括应用迭代最近点算法。
在本发明的另一方面，恢复所述外部参数还包括考虑所述(移动)机械手的运动学模型偏置。
本领域技术人员参考以下详细描述将容易理解本发明的各种其他实施例和方面。
附图说明
现在将参考附图讨论本发明的各种实施例。应明白，这些附图仅示出了本发明的典型实施例，因此不应认为是对其范围的限制。
图1示出了根据实施例的移动机器人机械手100和相关框架；
图2示出了从末端执行器106的深度传感器104和接触传感器导出的两个点云204、206，以使用非刚性点云对准同时校准深度传感器的外部参数和机械手运动学参数；
图3A示出了示例末端执行器接触点的前视图，图3B示出了侧视图，其中，末端执行器顶端处的接触点的位置可视化显示为十字形；
图4A、图4C和图4E分别示出了实际点云的等轴测图、俯视图和前视图；
图4A、图4C和图4E分别示出了偏置点云的等轴测图、俯视图和前视图，其中，这些视图是在一个关节上添加0.5弧度的单个关节偏置时基于接触的点云变形的示例；虽然0.5弧度不太可能是实际偏置量，但是使用该量证明在模型误差给定的情况下对基于接触的点云的清楚影响。
图5示出了用于收集点云的机器人，包括安装在移动基座上的机械手、RGB-D传感器以及附接在机械手腕部的力扭矩传感器；
图6A示出了根据实施例的实际校准表面；
图6B示出了图6A的校准表面的深度相机点云图；
图6C示出了图6A的校准表面的稀疏接触点云图；
图7示出了在示例基于任务的验证程序中使用的五个ARTag位置，其中，尝试使用位置和方位具有足够多样性的姿势，以消除外部校准估计中存在系统偏差的可能性；
图8示出了在从平坦的水平表面收集数百个点时在抓取器上记录的力以及所测得的FE和FR之间的相对高度变化；值得注意的是，抓取器在整个表面上移动了大约10厘米；如上图所示，鉴于嘈杂的力扭矩测量很难进行，因此要保持稳定控制；阻抗控制器能够将抓取器上的总力保持在10N以下；尽管力发生了变化，但在两个图中，末端执行器高度的相对变化都不会超过1mm；
图9A示出了应用初始变换猜测后白色的接触图；
图9B示出了最终对准之后的接触图和KINECT图；
图10示出了针对不同的表面接触图，在方程(19)中定义的稳定性指标c，其中，未采样的平面为红色，较浅的红色表示从原始65000个接触点向下采样到500个接触点；以及
图11示出了校准程序之后的末端执行器位置的误差，其中，在该特定示例中，误差是FE相对于ARTag的期望位置与VICON测量的地面真实位置之间的差。
具体实施方式
本发明公开涉及一种仅使用机载硬件对(可选地移动的)机械手末端执行器相对于外部安装的深度传感器进行自动、原位校准的方法。
下面的说明示出了下列原理，这些原理可以以各种方式应用以提供许多不同的可替代实施例。本说明并不意味着限制所附权利要求中的发明构思。本文公开的原理、结构、元件、技术和方法可以适于在需要校准安装在系统上的传感器相对于移动系统的末端执行器的相对位置和方向的其他情况下使用，其中，传感器的位置不受末端执行器运动的影响。该系统可以是移动的或固定的。
尽管已经在下面详细示出和描述了本技术的例证性实施例，但是对于本领域技术人员将显而易见的是，在不脱离本发明范围的情况下可以做出改变和修改。因此，在下面的说明和附图中阐述的内容仅是出于说明的目的，而不是作为限制。另外，本领域技术人员在阅读和理解本公开后应明白，本文所述技术的其他变体可以被包括在本技术的范围内。以下详细说明包括对附图的参考，这些附图形成了详细说明的一部分。附图示出了根据示例实施例的图示。足够详细地描述了这些示例实施例，以使本领域技术人员能够实践本主题。然而，对于本领域技术人员而言显而易见的是，可以在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述公知的方法、过程和组件，以免不必要地混淆实施例的各个方面。在不脱离本发明的范围的情况下，可以组合这些实施例，可以利用其他实施例，或者可以做出结构和逻辑上的改变。因此，以下详细说明不应被视为限制。
在本文件中，与在专利文件中常见的一样，使用术语“一”或“一个”是包括一个或多个。在本文件中，术语“或”用于表示非排他性的“或”，所以“A或B”包括“A但不包括B”、“B但不包括A”以及“A和B”，除非另有说明。
现在将描述某些例证性实施例以提供对本文公开的装置和方法的结构、功能、制造和使用的原理的整体理解。这些实施例的一个或多个示例在附图中示出。本领域技术人员应理解，本文中具体描述并在附图中示出的装置和方法是非限制性的例证性实施例，并且不限制权利要求的范围。
本文将公开各种例证性实施例。结合一个例证性实施例示出或描述的特征可以与其他实施例的特征组合。这些修改和变化有意被包括在本申请的范围内。
在许多情况下，本文公开的方法和系统尤其可以使用根据本文的教导所创建的软件等并根据面向对象的编程方案来实现。面向对象编程和编程语言(例如，C++)的原理在本领域中是已知的。
在一个实施例中，提供了一种安装在(移动)机器人机械手上的外部传感器相对于机器人机械手的基座和末端执行器的相对位置和方向的自动自校准的方法。
参考附图，更具体地参考图1，其中公开了机器人机械手100。机器人机械手100包括移动平台102、深度传感器104和末端执行器106。深度传感器104安装在传感器桅杆108上，而末端执行器106连接到机械手臂110。机械手臂110的运动不会影响深度传感器104的位置。从这个意义上讲，深度传感器104处于机械手臂110的外部。换句话说，深度传感器104的位置与机械手臂110的位置无关，因此，与末端执行器106无关。然而，值得注意的是，深度传感器104不是在机器人机械手100本身的外部，并且可以被认为相对于移动平台102是固定的。能够提供深度信息的深度传感器102可以是视觉传感器，其示例包括RGB-D相机。末端执行器104可以包括力-扭矩传感器。机器人机械手100可以是移动的或可以是静止的。在本说明书中对移动机械手的任何引用都应被理解为等同地适用于固定机械手，除非另外明确指出。
现在也参考图2，校准方法包括确定末端执行器106和深度传感器104之间的外在变换。在这种方法中，利用直接环境(表面)的结构202进行校准。从深度传感器104获得的数据用于生成第一点云图204，其可以被称为融合点云图104。用于生成融合点云图104的数据是通过将移动基座102移动到多个有利点，并使用深度传感器104捕捉对应于结构202的深度信息而获得的。此外，使用从末端执行器106处的力-扭矩传感器获得的数据生成第二点云图206。第二点云图206可以被称为接触或力点云图206。通过在结构202的刚性表面上移动的同时保持固定的力分布(使用末端执行器106上的力-扭矩传感器)来生成接触点云图206。然后，使用迭代最近点(ICP)算法将融合点云图204与接触点云图206对准，以恢复外部参数。另外，可以将运动学模型参数引入上述程序。
使用深度和接触进行外部校准
在一个实施例中，校准方法包括问题的表述，其中在没有运动学模型偏置参数的情况下考虑外部变换的校准。再次参考图1，FC是深度传感器104的光学框架，FR是机械手的基座框架，FE是末端执行器106的顶端，其中做出与表面的接触。变换TR,E由臂的向前运动给出，而变换TC,R是要求解的外在变换。
在即时方法中，在机械手的基座框架FR和深度传感器的104框架FC之间求解变换TC,R∈SE(3)。常数变换参数集为：
Ξ＝[xe ye ze φe θe ψe]T， (1)
其中，Ξ是三个平移和三个旋转参数的向量。假定能够访问能够生成3D点云图的内部校准的深度传感器104的可用性，并且可以检测到末端执行器106框架内的接触并将其估计为3D点测量。即，将6自由度(DOF)框架FE放置在抓取器上的位置，该位置可以容易地隔离并且被估计为接触点。进一步假设由末端执行器106接触的表面是刚性的，并且在接触期间的变形可以忽略不计。
深度传感器104在FC中提供点云图B，而接触或力-扭矩传感器在FR中提供第二点云图A，
A＝{a1，a2，...，an}，B＝{b1，b2，...，bm}， (2)
其中，ai和bi是两个云204、206中点的3D坐标，而ai是均质形式的A的点。要考虑的重要方面是FE是跟随末端执行器106运动的移动框架。为了生成一致的接触点云图206，A中的所有点都需要在固定框架中表示。将机械手的基座框架FR选择为固定框架。假定针对每个接触点ai和运动学模型，从相应的关节编码器读数θi＝[θ1,i,θ2,i,...,θ6,i]已知机械手的基座框架和末端执行器106之间的变换TR,E，
ai＝TB，E(θi，Ψ)[0 0 0 1]T. (3)
使用用于正向运动学的Denavit-Hartenberg(DH)参数化，
TB，E(θi，Ψ)＝D0，1(θ1，i，ψ1)...Dk-1，k(θk，i，ψk)...DK-1，K(θK，i，ψK)， (4)
其中，每个Dk-1,k都是从机械手关节框架k-1到k的具有参数ψk＝[αk rk dk]的DH矩阵，假定：
Figure BDA0002651129430000061
然后，深度传感器104和末端执行器106之间的变换可以表示为：
TC，E(Ξ，θi，Ψ)＝TC，B(Ξ)TB，E(θi，Ξ). (6)
刚性ICP
ICP算法用于基于变换参数在数据关联步骤和对准误差最小化步骤之间交替对准两个点云204、206。示例点到平面误差度量由Y.Chen和G.Medioni在下列文献中公开，“Object Modeling by Registration of Multiple Range Images”，Proc.IEEEInt.Conf.Robotics and Automation,1991,pp.2724–2729，可以使用这种度量以最大程度地利用密集的融合点云图204中包含的表面信息。明确地，要最小化的误差函数为，
Figure BDA0002651129430000062
其中，TC,B是要求解的刚性变换，ai是方程式(3)中定义的接触点，wi是用于离群值去除的权重因子，bi是深度传感器点，其各自的表面法线为ni，wi是用于离群值去除的权重。矩阵P为
P＝[I3 03×1]； (8)
其中，I3为3x 3单位矩阵。点到平面度量将运动方向限制为垂直于局部平面的方向。从实际设计的角度来看，假设使用了末端执行器的平头的理想点估计，则点到平面度量不会加权EE接触点的不确定平面方向。
形状、接触和可观察性
在进行外部校准的情况下，环境的形状以及收集哪些接触点的选择将直接影响解决方案的准确性和收敛性。如下列文献中所示：S.Rusinkiewicz和M.Levoy，“EfficientVariants of the ICP Algorithm”，Proc.Int.Conf.on 3-D Digital Imaging andModeling,2001,pp.145–152；和N.Gelfand、L.Ikemoto、S.Rusinkiewicz以及M.Levoy，“Geometrically Stable Sampling for the ICP Algorithm”，Proc.Int.Conf.3-DDigital Imaging and Modeling,2003,pp.260–267，在点云配准期间，不同的表面形状可能导致运动方向不受约束或无法观察；根据如何对点采样，可以实现或多或少的准确收敛。此外，N.Gelfand等人在“Geometrically Stable Sampling for the ICP Algorithm”，Proc.Int.Conf.3-D Digital Imaging and Modeling,2003,pp.260–267中，证明了从三个平面正交表面采样的点足以约束刚性变换。N.Gelfand等人公开了更多表面类型及其不受约束的方向的总结。
基于点对平面成本函数，通过检查成本函数的近似Hessian特征值，基于采样的接触点A(相对于B中的表面点)，获得了解决方案稳定性的原则性测量值，如S.Rusinkiewicz和M.Levoy所公开的。假定(7)，旋转被线性化，成本函数被重新构造为平方和，如下列文献中所述：A.Censi，“An Accurate Closed-Form Estimate of ICP’s Covariance”，Proc.IEEE Int.Conf.Robotics and Automation,2007,pp.3167–3172；和S.Bonnabel、M.Barczyk以及F.Goulette，“On the covariance of ICP-based scan-matchingtechniques”，2014.arXiv:1410.7632[cs.CV]：
Figure BDA0002651129430000071
其中，ΔΞ是对电流变换参数Ξ的增量(小角度)更新。残差ri和Jacobian矩阵Ji分别为，
Figure BDA0002651129430000072
和
Figure BDA0002651129430000073
其中，a× i表示ai的斜对称矩阵形式。在真最小值附近，Ξ＝^Ξ，对于增量更新求解方程(9)，产生以下二次形式，
ΔJpn(ΔΞ)＝ΔΞTQΔΞ (12)
其中，
Figure BDA0002651129430000074
并且，
Figure BDA0002651129430000075
方程(12)测量随着Ξ远离最小值^Ξ时成本如何变化。如果ΔΞ的变化导致ΔJpn的变化很小(没有)，则该解在该方向上的约束不足。此外，近似Hessian Q的小特征值表示在相关特征向量方向上的不可观察运动。因而，我们基于矩阵Q的条件数c选择稳定性或可观察性的度量。
对于特征值Q,λ1>λ2>...>λ6，则稳定性度量为：
Figure BDA0002651129430000081
随着c接近1，点云A相对于B的运动变得越来越受约束。类似地，小的特征值表示在所配准的两个表面之间沿各自特征向量的方向的不受约束或不可观察的相对运动。
通过非刚性ICP进行机械手运动学模型偏置校准
使用刚性ICP来求解6自由度刚体变换。为了考虑运动学模型偏置(例如，关节角度偏置)，必须对方程(8)进行修改以包含六个以上的刚性变换参数。下面提供了这种修改的可能数学公式。
将成本函数(8)的变换T修改为非刚性的。发明人不是仅使用ICP算法仅求解TC,R，而且求解方程(7)中定义的TC,R，但是在正向运动学变换TR,E中合并了添加的DH参数偏置。为了简化这种问题，发明人给出了仅求解关节角度偏置(δθ)的示例，而不是解决所有DH参数误差:
Figure BDA0002651129430000082
新成本函数为：
Figure BDA0002651129430000083
其中，～ai是
Figure BDA0002651129430000084
的均质形式。因此，J～ pn是6+K参数的函数：六个参数定义外在变换Ξ，另一个K形成K-DOF(旋转关节)机械手的关节角度偏置的集合δθ。为了确定Ξ和δθ，我们使用标准的非线性最小二乘法求解器(即Levenberg-Marquardt)。
实际上，取决于机械手中有多少个旋转关节，关节角度偏置可能多于或少于六个。变换不再是刚性的，并且随着每次迭代修改δθ，接触点云中的每个点都将移动。在图4A至图4F中示出了用一个偏置的关节角度值收集的对接触点云的影响。
实验与结果
为了验证外部校准方法，发明人使用移动机械手500进行了多次测试，如图5所示。KINECT V2RGB-D传感器安装在移动基座的传感器桅杆上。抓取器上装有力扭矩(F/T)传感器，该传感器与阻抗控制器配合使用。控制器在创建接触点云206的同时保持末端执行器和表面之间的接触。对于这里报告的实验，重点仅在于外部校准。
在收集了三个RGB-D点云204和三个对应的接触点云206之后，发明人通过记录两个点云204、206，确定了臂末端执行器框架和RGB-D框架之间的外部校准。最后，通过执行准确性测试验证外部校准结果，其中命令机器人末端执行器到达RGB-D框架中给定的位置。这些实验以及结果将在下面更详细地描述。
点云的对象选择
发明人揭示了使用两个简单的矩形盒(棱镜)的自校准方法。根据以下条件选择这种特定形状：
1)它代表了大多数环境中容易获得的形状，
2)对于大多数接触或触觉传感器，其形状都可以映射为高保真度，
3)直角棱镜的表面完全约束了基于ICP的对准方式。
基于使用的接触或触觉传感器的分辨率和类型，第一和第二项是实际要求。随着接触和触觉传感器变得更加准确并能够进行更高分辨率的测量，这些要求将得到放松，更加任意和复杂的形状将变得更容易绘制。
RGB-D点云采集
发明人使用KINECTFUSION收集了环境的点云图，并利用完整的移动基座从多个视点生成融合图204，如下列文献中所公开的：R.A.Newcombe、S.Izadi、O.Hilliges、D.Molyneaux、D.Kim、A.J.Davison、P.Kohi、J.Shotton、S.Hodges以及A.Fitzgibbon，“KinectFusion:Real-Time Dense Surface Mapping and Tracking”，Proc.IEEEInt.Symp.Mixed and Augmented Reality,2011,pp.127–136。在图6B中示出了实验中使用的点云之一。收集了KINECT点云后，可移动基座在接触映射阶段被固定在其最终位置。由于KINECTFUSION不再运行，因此在两个图之间进行变换的最终估计中都不会补偿任何基本运动。这种方法在很大程度上取决于KINECTFUSION的映射结果的准确性。引入校准的某些误差很可能是由于KINECTFUSION算法本身引入的点云图中的伪影所致。值得注意的是，KINECTFUSION努力绘制尖锐的边缘并在平坦的壁上引入了“弓形”，如图6B的右侧所示。
接触点云采集
为了收集接触云206的点，使用半自动化程序，其中用户选择末端执行器(在末端执行器框架中)的x和y坐标，而末端执行器(抓取器)的z位置通过PID回路进行控制，以保持轻表面接触。末端执行器的力读数和由此产生的高度变化(与特定表面的垂直距离)的示例如图8中所示。FT传感器制造商提供的建议的接触感应阈值为2N，传感器噪声的额定标准偏差为0.5N，虽然在实验中发现该阈值更接近1N。这种程序可以很容易地完全自动化。
z方向力读数用作选择要添加到接触云的点的阈值。对于实验，将“最小”力阈值设置为-3N(即，相对于抓取器)，将“最大”力阈值设置为-15N。选择阈值以确保仅在有足够的接触和并且物体变形的风险低时才收集这些点。阻抗控制器的设定点为-4N。尽管直觉会建议在阈值之间使用一个阻抗值，但降低了阻抗设定点以确保表面不会因接触而损坏或改变。
在图6C中示出了接触点云之一。如从图8中所示的非常小的高度变化所预期的，所有应该平坦的表面实际上在接触云中看起来都是平坦的。同样地，应该彼此垂直的表面也是如此。作为附加的验证步骤，发明人比较了一个立方体上两个表面之间的距离的实测值(34.93cm)和已知值(34.5cm)。
点云配准程序
发明人利用libpointmatcher中提供的ICP实现方式进行刚性配准，如下列文献中公开的：F.Pomerleau、F.Colas和R.Siegwart，“A Review of Point Cloud RegistrationAlgorithms for Mobile Robotics”，Foundations and Trends in Robotics,vol.4,no.1,pp.1–104,2015。需要对变换参数进行初步猜测；发明人通过粗略测量KINECT相对于机械手基座的位置和方向来确定这一点。分别在图9A和图9B中示出了点云的初始和最终对准的示例。最终的校准结果在表I中给出。结果是三个单独试验的平均值，每个试验具有不同的接触图(由机器人收集)，以确保特定的接触图不会对结果产生偏置。试验I是在环境中使用两个棱镜进行的，而试验II和III是通过仅从单个棱镜进行采样进行的。
表I:三个单独试验的外部校准结果
外部校准结果
Figure BDA0002651129430000101
基于任务的验证结果和分析
发明人通过使用VICON运动捕捉系统和ARTags的基于任务的实验，验证了外部校准参数的估计。发明人将具有九个ARTag的板放置成五个单独的姿态，具有明显的平移和旋转变化，如图7中所示，既考虑了KINECT，又考虑了机械手的工作空间。在这些姿势的每一个中，发明人都命令臂(特别是图2中的FE)到达与中心ARTag有特定偏移的位置。发明人使用VICON记录所命令的位置和地面真实位置之间的平移误差。该实验的结果在图11中可视化。发明人还使用表I中所示的外部校准初始猜测进行了相同的实验，但是在每种情况下，末端执行器都从期望位置错开了至少25cm。
表II中的结果表明，抓取器位置的归一化平均平移误差为13.97mm。发明人认为，对于许多标准的机械手任务(诸如拾取和放置)，这种误差量不会阻止任务的完成。同样地，似乎在z方向上存在系统误差，可以通过在KINECTFUSION框架和ARTag框架之间进行更好的校准来改善该误差。
表II:基于任务的验证程序的位置误差。每个绘制位置都是三个试验的平均值。平均值作为绝对误差的平均值来计算。
位置误差结果
Figure BDA0002651129430000102
尽管发明人确实尝试实现先前提出的非刚性ICP解决方案，并在其中一个数据集上模拟了关节角度偏置，但发明人发现，由方程(13)得出的近似Hessian矩阵非常小，因此该问题对于该特定数据集无法求解。发明人怀疑，直观的解释是由于在收集数据时关节构造缺乏多样性，因此无法确定关节角度偏置或外部相机误差是否导致了最终错误。将来，可以通过尝试收集臂构造中更多变化的点来纠正这种情况，如下列文献中详述的：M.R.Driels和U.S.Pathre，“Significance of Observation Strategy on the Design ofRobot Calibration Experiments”，J.Robot.Syst.,vol.7,no.2,pp.197–223,1990，可能是通过添加一个附件，该附件将使我们能够收集多个点，同时放松FE垂直于接触面的约束，如图3A和图3B中所示。
表面变化和点云稀疏化的影响
对改变采样表面以获得接触云的影响以及在校准过程中收集的接触点数量进行了研究。从实际角度来看，使用简单形状和较少接触点进行校准可能会增加处理的灵活性和速度。图10示出了在不同采样场景下收敛解的稳定性度量(19)c。正如人们所期望的那样，采样表面的选择与收敛解的稳定性直接相关。
原始接触点以c＝5.02976的稳定性测度收敛，其中较大的c值表示收敛稳定性较差。首先，研究了不对某些平面采样的效果，如图10(b)、图10(c)和图10(d)所示，这些图将c值分别增加到6.932、7.657和8.931。另外，不从左棱镜或右棱镜中的任何一个采样将c值分别提高到7.628和15.037。
另一方面，如图10(g)所示，从65,000个接触点向下采样到500个接触点，对解的稳定性影响有限。具体而言，发明人通过从原始云中随机选择一定数量的点来进行下采样。这表明原始接触点云中有许多冗余点，并且可以使用稀疏云。
图12进一步展示了下采样的效果；只要在接触图中保持最小的密度和点的扩散，程序就可靠而稳定地收敛。要获得稳定解要考虑的关键因素是在接触图中采样的表面的多样性。应注意，这些结果适用于刚性配准——然而，在非刚性情况下，增加采样点数量可能会提高解的质量。
应注意，上述过程被描述为步骤序列；这仅是为了说明。因而，预期可以添加一些步骤，可以省略一些步骤，可以重新排列步骤的顺序，或者可以同时执行一些步骤。
鉴于上述内容，应认识到以下事实：提供了一种改进的方法，该方法通过利用接触作为该应用的先前未使用的传感器形式，来在机械手和固定深度(或其他类型的)相机之间执行外部自校准。该方法使用板载传感器，该传感器在大多数标准机械手上都很容易获得，并且不依赖于任何基准标记或笨重且昂贵的外部测量装置。未来可能的工作包括使用稀疏点云配准，如下列文献中公开的：R.A.Srivatsan、P.Vagdargi、N.Zevallos和H.Choset，“Multimodal Registration Using Stereo Imaging and Contact Sensing”，为减少收敛所需的接触点数量，使用机械手配置中更多样的数据集对DH运动学参数进行非刚性校准，并探索使用更高保真度的接触或触觉传感器，以允许与更复杂的形状进行交互。

Claims (20)

1.一种校准机械手和外部传感器的方法，所述方法包括：
使用深度信息生成第一点云图；
使用接触信息生成第二点云图；以及
通过对准所述第一云图和所述第二云图来恢复外部参数。
2.根据权利要求1所述的方法，其中，生成所述第一点云图包括收集所述深度信息。
3.根据权利要求2所述的方法，还包括使用深度传感器或相机之一收集所述深度信息。
4.根据权利要求3所述的方法，其中，所述深度传感器相对于所述移动机械手的基座框架固定。
5.根据权利要求2所述的方法，其中，收集所述深度信息包括收集对应于刚性结构的深度信息。
6.根据权利要求5所述的方法，其中，生成所述第二点云图包括通过使所述移动机械手的末端执行器在所述刚性结构上移动来收集所述接触信息。
7.根据权利要求5所述的方法，其中，所述深度信息是从多个有利点收集的。
8.根据权利要求1所述的方法，其中，将所述第一云图和所述第二云图对准包括应用迭代最近点(ICP)算法。
9.根据权利要求8所述的方法，其中，恢复所述外部参数还包括考虑所述机械手的运动学模型偏置。
10.根据权利要求1所述的方法，其中，所述机械手是移动的。
11.一种用于校准机械手的系统，包括：
处理器和计算机可读介质；所述计算机可读介质包括在被所述处理器执行时执行下列动作的指令：
使用深度信息生成第一云图；
使用接触信息生成第二云图；以及
通过对准所述第一云图和所述第二云图来恢复外部参数。
12.根据权利要求11所述的方法，其中，所述指令包括用于收集所述深度信息的指令。
13.根据权利要求12所述的方法，还包括使用深度传感器或相机之一收集所述深度信息。
14.根据权利要求13所述的方法，其中，所述深度传感器相对于所述移动机械手的基座框架固定。
15.根据权利要求11所述的方法，所述深度信息对应于刚性结构。
16.根据权利要求15所述的方法，还包括使所述机械手的末端执行器在所述刚性结构上移动，以生成所述第二云图以收集所述接触信息。
17.根据权利要求15所述的方法，所述深度信息是从多个有利点收集的。
18.根据权利要求11所述的方法，其中，将所述第一云图和所述第二云图对准包括应用迭代最近点(ICP)算法。
19.根据权利要求18所述的方法，还包括在恢复所述外部参数考虑所述移动机械手的运动学模型偏置。
20.根据权利要求11所述的方法，其中，所述机械手是移动的。
CN201980015593.XA 2018-03-01 2019-03-01 校准移动机械手的方法 Pending CN111770814A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862637282P 2018-03-01 2018-03-01
US62/637,282 2018-03-01
PCT/CA2019/050252 WO2019165561A1 (en) 2018-03-01 2019-03-01 Method of calibrating a mobile manipulator

Publications (1)

Publication Number Publication Date
CN111770814A true CN111770814A (zh) 2020-10-13

Family

ID=67805613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015593.XA Pending CN111770814A (zh) 2018-03-01 2019-03-01 校准移动机械手的方法

Country Status (4)

Country Link
US (1) US20200398433A1 (zh)
CN (1) CN111770814A (zh)
CA (1) CA3092261A1 (zh)
WO (1) WO2019165561A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11584013B2 (en) 2020-03-31 2023-02-21 Wipro Limited System, device and method for determining error in robotic manipulator-to-camera calibration
WO2022204025A1 (en) * 2021-03-26 2022-09-29 Boston Dynamics, Inc. Perception module for a mobile manipulator robot
DE102021108906A1 (de) * 2021-04-09 2022-10-13 Linde Material Handling Gmbh Mobiler Kommissionierroboter
CN115958589A (zh) * 2021-10-11 2023-04-14 罗伯特·博世有限公司 用于机器人的手眼标定的方法和装置
US20230196495A1 (en) * 2021-12-22 2023-06-22 Datalogic Ip Tech S.R.L. System and method for verifying positional and spatial information using depth sensors
CN115416018B (zh) * 2022-08-17 2024-03-15 雅客智慧（北京）科技有限公司 末端执行器形变补偿方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080010869A1 (en) * 2006-07-14 2008-01-17 Cable Arm, Inc. Underwater dredging system
US20100246899A1 (en) * 2009-03-26 2010-09-30 Rifai Khalid El Method and Apparatus for Dynamic Estimation of Feature Depth Using Calibrated Moving Camera
US20160016311A1 (en) * 2014-07-16 2016-01-21 Google Inc. Real-Time Determination of Object Metrics for Trajectory Planning
DE102015101710A1 (de) * 2015-01-22 2016-07-28 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
WO2016122416A1 (en) * 2015-01-30 2016-08-04 Agency for Science,Technology and Research Mobile manipulator and method of controlling the mobile manipulator for tracking a surface

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918213B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US10022867B2 (en) * 2014-11-11 2018-07-17 X Development Llc Dynamically maintaining a map of a fleet of robotic devices in an environment to facilitate robotic action

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080010869A1 (en) * 2006-07-14 2008-01-17 Cable Arm, Inc. Underwater dredging system
US20100246899A1 (en) * 2009-03-26 2010-09-30 Rifai Khalid El Method and Apparatus for Dynamic Estimation of Feature Depth Using Calibrated Moving Camera
US20160016311A1 (en) * 2014-07-16 2016-01-21 Google Inc. Real-Time Determination of Object Metrics for Trajectory Planning
DE102015101710A1 (de) * 2015-01-22 2016-07-28 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
WO2016122416A1 (en) * 2015-01-30 2016-08-04 Agency for Science,Technology and Research Mobile manipulator and method of controlling the mobile manipulator for tracking a surface

Also Published As

Publication number Publication date
CA3092261A1 (en) 2019-09-06
WO2019165561A1 (en) 2019-09-06
US20200398433A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
CN111770814A (zh) 校准移动机械手的方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
JP5977544B2 (ja) 情報処理装置、情報処理方法
JP6427972B2 (ja) ロボット、ロボットシステム及び制御装置
JP6180086B2 (ja) 情報処理装置及び情報処理方法
EP2636493B1 (en) Information processing apparatus and information processing method
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
US9089971B2 (en) Information processing apparatus, control method thereof and storage medium
JP6324025B2 (ja) 情報処理装置、情報処理方法
US20140018957A1 (en) Robot system, robot, robot control device, robot control method, and robot control program
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JPWO2019146201A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP7462769B2 (ja) 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
US20220390954A1 (en) Topology Processing for Waypoint-based Navigation Maps
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
Limoyo et al. Self-calibration of mobile manipulator kinematic and sensor extrinsic parameters through contact-based interaction
JP5698815B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Ni et al. 3D-point-cloud registration and real-world dynamic modelling-based virtual environment building method for teleoperation
Schiebener et al. Discovery, segmentation and reactive grasping of unknown objects
US20220152834A1 (en) Device and method for controlling a robot to pick up an object in various positions
EP3738725B1 (en) Measurement system, measurement device, measurement method, and measurement program
Bao et al. Robotic 3D plant perception and leaf probing with collision-free motion planning for automated indoor plant phenotyping
JP2022142773A (ja) オブジェクトのカメラ画像からオブジェクトの場所を位置特定するための装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201013