CN111482959A - 机器人运动视觉系统的自动手眼标定系统与方法 - Google Patents

机器人运动视觉系统的自动手眼标定系统与方法 Download PDF

Info

Publication number
CN111482959A
CN111482959A CN202010079136.1A CN202010079136A CN111482959A CN 111482959 A CN111482959 A CN 111482959A CN 202010079136 A CN202010079136 A CN 202010079136A CN 111482959 A CN111482959 A CN 111482959A
Authority
CN
China
Prior art keywords
calibration
motion
robot
view
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010079136.1A
Other languages
English (en)
Other versions
CN111482959B (zh
Inventor
伯哈德·德里克斯勒
英川·胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN202311016415.3A priority Critical patent/CN117047757A/zh
Publication of CN111482959A publication Critical patent/CN111482959A/zh
Application granted granted Critical
Publication of CN111482959B publication Critical patent/CN111482959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/046—Revolute coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Abstract

本发明提供一种自动确定手眼标定的运动参数，并且在最小的人为干预下执行标定过程的系统和方法。该系统和方法在预标定期间自动计算手眼标定运动参数和空间位置，使标定图案可以始终保持在视觉系统相机的整个视场内并覆盖视场，从而提供全自动手眼标定处理。该系统和方法有利于在基于机器人的手眼标定环境中工作，并能补偿标定目标和视场之间的悬臂效应。手眼标定计算从机器人坐标空间到相机坐标空间的转换。这大体避免了通过一组空间位置来手动移动机器人，相机随后在空间位置获取图像并将标定特征定位在每个位置的对象上，以建立机器人和相机之间的关系的需要。

Description

机器人运动视觉系统的自动手眼标定系统与方法
技术领域
本发明涉及机器视觉系统，更具体地，涉及与机器人操作器配合来对系统进行标定的系统和方法。
背景技术
在机器视觉系统(在此也称为“视觉系统”)中，使用一个或多个相机在成像场景中的对象或表面上执行视觉系统处理。这些处理可以包括检查、符号解码、对准和各种其他自动化任务(例如对用于操作的机器人手臂或运动台的运动进行控制，以及对相对于一个或多个自由度和/或尺寸的对象的运动进行控制)。更具体地，视觉系统可用于检查在成像场景中操作的平坦工件。场景通常由可包括内部或外部视觉系统处理器的一个或多个视觉系统相机来进行成像，这些处理器操作相关的视觉系统处理来产出的结果(例如部件对齐)。为了保障执行视觉任务的充分的精确度和可靠性，通常需要标定一个或多个相机。可以使用标定对象来标定相机。
标定对象(通常配置为平面的“板”)可以是平面对象，其表面具有明显的图案(通常是棋盘图案)。通过精心且精确的设计，这种独特的图案可以使用户轻松地识别出通过相机获取的板上图像的每个可见特征。一些示例性图案包括但不限于点网格、线网格、十字或可以想象的蜂窝图案、三角形棋盘等。通常，每个可见特征的特点都是从板的设计中获知的(例如相对于设计中暗含的参考位置和/或坐标系的位置和/或方向)。
标定对象用于以各种方式获得关于视觉系统的所需标定参数。通过非限制性示例，可以相对于机器人的操作器(或端部执行器)安装标定对象。机器人将标定对象移动到多个离散位置，以便为机器人的坐标空间生成相对于视觉系统的坐标空间的所需标定参数。然而，由于所谓的悬臂效应，操作器的运动有时会将标定对象的全部或部分定位在视觉系统视场之外。这会限制标定过程的速度、精度和/或鲁棒性。
发明内容
本发明通过提供一种自动确定手眼标定的运动参数，并且在最小的人为干预下执行标定过程的系统和方法，来克服现有的技术问题。更具体地，该系统和方法在预标定期间自动计算手眼标定运动参数和空间位置，使标定图案可以连续(始终)保持在视觉系统相机的整个视场(field of view，FOV)内并覆盖视场，从而提供全自动手眼标定处理。该系统和方法有利于在基于机器人的手眼标定环境中工作，并能补偿标定目标和视场之间的悬臂效应。手眼标定计算从机器人坐标空间到相机坐标空间的转换。这大体避免了(由用户)通过一组空间位置来手动移动机器人，相机随后在空间位置获取图像并将标定特征定位在每个位置的对象上，以建立机器人和相机之间的关系(空间转换)的需要。
在一个说明性实施例中，提供了一种系统和方法，用于与机器人操作器一起操作来执行视觉系统的手眼标定，其中，在标定对象和视觉系统相机的视场(FOV)之间存在相对运动。预标定处理在视场中执行三点标定，并计算从机器人操作器的坐标空间到视觉系统相机的所获取图像的坐标空间的粗略转换。基于该粗略转换，系统和方法在多个适合用于进行手眼标定的各个位置计算标定对象上的特征的空间点。然后，手眼标定模块使用空间点执行手眼标定。说明性地，基于机器人操作器的一组迭代运动和对空间点之间的机器人运动步长的调整来计算粗略转换，以将标定对象的特征保持在视场内并提供空间点之间的最小分隔距离。可以基于可选用户输入来选择部分空间点。一般来说，可以考虑到机器人操作器在标定对象和视场之间会引起悬臂效应，并且预标定处理布置用来补偿悬臂效应。因此，预标定处理计算空间位置，以将标定对象保持在视场中。在一个示例中，将视觉系统相机相对于机器人操作器安装并使其与机器人操作器一起移动。在另一示例中，将标定对象相对于机器人操作器安装并使其与机器人操作器一起移动。说明性地，机器人操作器包括多轴机器人和运动台中的一个。所述手眼标定可以在一系列运动步长中执行，所述运动步长分别定义了其间的运动步长大小，并且其中，所述运动步长大小是基于(a)所述视觉系统相机的所获取图像像素的大小和(b)所述视觉系统相机的视场的大小中的至少一个，所述视场的大小是根据直到当前运动步长为止所获取的所述标定对象的图像中的至少一个来确定。粗略转换是基于(a)三步运动处理和(b)由机器人操作器的一组迭代运动以及对空间点之间的机器人运动步长的调整中的至少一个来进行计算，以将所述标定对象的特征保持在视场内，并提供空间点之间的最小间隔距离。
附图说明
参考以下附图对本发明进行说明，其中：
图1是根据一示例实施例的具有安装在端部执行器上的视觉系统相机的机器人操作器组件的示意图，用于对标定板进行成像；
图2是根据另一示例实施例的具有远程安装的视觉系统相机的机器人操作器组件的示意图，以对由机器人端部执行器操纵的标定板进行成像；
图3示出了由于视觉系统相机视场(FOV)和机器人操作器之间的相对运动而在标定目标上产生悬臂效应的俯视图，包括本文的系统和方法所执行的用于补偿悬臂的调整；
图4是具有相关标定特征(例如交叉线)的示例性标定对象的俯视图，其具有根据本文的预标定处理来提供特征位置之间的平移和旋转的一系列移动步骤；
图5是在存在悬臂效应的情况下执行手眼标定的过程的流程图，包括提供粗略空间位置的预标定处理，从而在标定运动步长期间将标定对象持续保持在视场内；以及
图6是更详细地显示图5的预标定处理中执行的步长大小调整的流程图。
具体实施方式
一、系统概述
A、安装在机器人上的相机和固定的标定对象
图1示出了机器人操作器布置100，其中具有端部执行器112的多轴(例如六轴)机器人臂110在固定基部111上，端部执行器112适于携带视觉系统相机组件120。在工作空间周围操作相机120以将相机120的光轴OA和视场对准到标定对象/板130上。对象130可以定义任何适当的标定图案和相关基准(例如交叉线132)。相机可以按照沿多个轴实现全范围运动的方式安装在端部执行器112上。端部执行器112还可以包括操作器(夹持器、吸盘等)来移动有用对象(例如正在对准或拾取放置的部件)。通过这种方式，视觉系统相机组件120与端部执行器操作器一起移动，并且当端部执行器围绕工作空间移动时，视觉系统相机组件120的运动被引导(并且对象被对齐)。
相机组件120包括图像传感器S和相关的固定或可变光学元件O。相机组件120通过适当的数据链路(有线和/或无线)与视觉系统处理(处理器)140互连。处理(处理器)140可以实例化为多种方式，包括作为相机组件外壳120的一部分(全部或部分)，和/或配置在如PC、膝上型计算机、服务器、平板电脑或智能手机的独立计算设备150内。如本文所述，该计算设备150还可用于帮助用户设置和/或标定视觉系统。作为示例，计算设备150包括显示器和/或触摸屏152、键盘功能154和(例如)鼠标156。
通常，处理(处理器)140从相机组件传感器S接收图像数据141并传输相机控制数据142(例如焦点信息、触发信息等)。该图像数据由视觉系统工具144处理，该视觉系统工具144可以包括传统或定制的寻边器、卡尺、对比工具、斑点(Blob)分析仪等。这些工具和流程可从市面上的供应商处获得，如马萨诸塞州纳蒂克的Cognex公司。处理(处理器)140还包括标定处理(处理器)/模块144(可以是整个设置的一部分)，用于基于下面介绍的手眼标定技术和其他标定技术来对视觉系统进行标定。视觉系统处理(处理器)140还包括用于机器人控制148的接口。该处理(处理器)/模块148发送/接收关于机器人110的运动控制数据和/或反馈149(例如编码器脉冲)。通常，处理(处理器)140使用通过(例如)手眼标定技术获得的标定参数将相机坐标空间170转换为机器人的运动坐标空间172。应注意，机器人坐标空间170可以由正交轴XR、YR和ZR以及相对的旋转θXR、θYR和θZR定义，图像/相机坐标空间172可以由正交轴XI、YI和ZI以及相对的旋转θXI、θYI和θZI定义。根据系统和方法生成适当的转换来映射坐标空间170、172。通过这种方式，基于测量的标定参数，将视觉系统跟踪的移动转换为机器人内部的运动参数。
进一步了解刚性物体(如标定板)的某些标定原理(包括手眼标定)的背景，可以由一对姿势来对运动进行表征：运动之前的起始姿势，以及紧跟在运动之后的结束姿势，这里的“姿势”被定义为一组数值，用来描述在某一特定时刻在某一基本坐标系中物体的状态，即物体的虚拟特征。例如，在二维(2D)中，刚性物体可以由三个数值表征：在X的平移、在Y的平移和旋转θ。在三维(3D)中，增加了在Z(高度)的平移，以及在各自的x、y和Z轴上的旋转(例如θx、θy和θZ，如参见图1中的坐标轴170和172)。当相机和标定板之间存在相对运动时，标定板在上下文中的姿势用来描述标定板是如何呈现至相机的。典型地，在所谓的“手眼标定”标准中，标定对象/板以多个不同的姿势呈现至相机，并且每个相机获取在每个这样的姿势下的标定板的图像。对于机器视觉手眼标定而言，标定板通常被移动到多个预定姿势，相机获取该姿势下的板的各个图像。这种手眼标定的目的在于确定在“运动坐标系”中相机和标定板的刚性物体姿势。可以用多种方式定义运动坐标系。应在适当的坐标系中解释姿势中的数字(指定标定对象/板和/或相机在空间中的位置)。一旦选择了一个统一的坐标系，将在该全局坐标系中描述/解释姿势和运动。这种选定的坐标系通常被称为“运动坐标系”。通常，“运动”由能够呈现物理运动的物理设备(如机器人臂)或运动台(如龙门架)提供。应注意，对象/板可以相对于一个或多个固定相机移动，或者相机可以相对于固定对象/板移动。这种运动呈现设备的控制器使用数值(即姿势)来命令设备呈现任何所需的运动，并且这些数值在该设备的本地坐标系中得到解释。应注意，尽管可以选择任何运动坐标系来提供相对于运动呈现设备和相机的通用全局坐标系，但通常需要选择运动呈现设备的本地坐标系作为全局运动坐标系。
因此，手眼标定通过呈现运动(移动标定板或移动相机)并在运动前后获取图像来将系统标定到单个运动坐标系，从而确定该运动对运动对象的影响。作为进一步的背景，这与典型的不包括在运动坐标系中确定相机的外部姿势的内部和外部相机标定不同。在这种情况下，通常使用获取的板的一个图像来相对于标定板本身的坐标系对全部相机进行标定，该板位于全部相机的视场的特定位置。机器视觉标定软件从每台相机获取的板图像中推断出每台相机的相对位置。这种标定称为“将相机标定到板”，而手眼标定称为“将相机标定到运动坐标系”。
由此，当视觉系统采用手眼标定时，其软件通过将在图像中观察到的运动效果与受命令的运动(受命令的运动数据是已知的)相关联来解决姿势问题。标定的另一个结果是相机图像中的每个像素位置与运动坐标系中的物理位置之间的映射，以便在图像空间中找到位置后，运动坐标系中的位置可以被转换，并且可以命令运动呈现设备对其进行操作。
再次大体参考图1的布置100，在手眼标定过程中，用户通常决定(和输入)标定对象被移动到的空间位置。这种方法十分耗时，并需要了解整个系统及其相关的视场，这可能会在标定过程中引入意外误差。例如，一些系统将刀头安装到机器人端部执行器112，并要求用户移动机器人以及引导端部执行器112与标定对象130的印制图案发生实际的接触。或者，一些系统需要沿着每个运动轴(自由度)设置运动范围和步长大小，这将会使标定对象的图案从相机的视场(FOV)中移开，或者仅覆盖视场的很小一部分。这一部分原因可能是来自所谓的“悬臂”效应，基于机器人和对象相对于彼此旋转时的不同运动速率，使得机器人端部执行器112和/或对象130的位置从视觉系统相机120的光轴OA发生偏移。这个受限的数据集可能导致标定失败，或者不符合视觉系统应用的要求。尽管通过仔细的手动操作和测试可以获得令人满意的手眼标定，但还是希望能够减少或消除用户(人工)对该过程的干预。
B、远程安装的相机和机器人安装的标定对象
参照图2，视觉引导机器人装置200的另一实施例可以包括多轴机器人臂组件210。其可以不同于或类似于上述机器人组件110。或者，可以在本文描述的任何布置中使用另一运动装置(例如运动台)。在该示例性布置中，端部执行器212相对于远程固定安装的视觉系统相机组件220的视场FOV1携带并移动标定对象/板230。相机组件包括传感器S1和定义相关光轴OA1的光学器件O1。在两种布置100和200中，相机大体垂直于由标定对象定义的平面。然而，明确设想标定对象可以定义成包括高度的3D特征，并且相机组件120、220可以包括相对于场景和/或3D传感器(例如飞行时间传感器、超声波传感器或LIDAR传感器)具有不同定向的多个独立的相机。如上所述，相机组件与视觉系统处理(处理器)和相关计算设备互连，并向机器人210提供运动控制数据。在每一个布置中，机器人移动到不同的位置，以便能以不同的姿势捕获标定对象图案的图像，然后用于通过(例如)手眼标定技术来计算标定参数。
二.标定程序
在上述每一种布置中，将标定对象的特征保持在视觉系统相机组件的视场范围内具有挑战性。因此，示例性系统和方法提供了一种手眼标定方法，其自动确定机器人/运动装置的运动参数，计算空间位置并将标定对象的特征图案保持在相机视场内，由此来补偿所谓的悬臂效应，其中相机可以定义排除部分标定对象特征的视场。
参照图3，场景300示出了相对于固定的或机器人安装(移动)的相机组件的视场FOV2具有不同定位的标定对象310和310A。悬臂由相关的延伸件316、316A和316B表示。当机器人或相机移动时，由于旋转被延伸件(悬臂)放大，导致视场FOV2出现超调量(overshoot)。如对象310A所示，由于机器人的步进运动(step motion)，在部分或全部标定过程中，部分或全部特征已移动(箭头318)到视场FOV2之外。这导致合适的标定受到被损害或不可用。相反，根据本文中的系统和方法的教导，将对象(或至少一个由十字标记312、312a表示的所需的标定特征)完全地或实质上保持在视场内能够确保适当的标定。在视场FOV2内，相机和/或对象在获取的帧之间进行运动(例如沿x-y平移和旋转(箭头320))，以实现过程所需的标定测量。
参照图4，在场景400中再次描绘相机视场FOV3。应注意，在沿不同轴和围绕不同轴的平移中(例如，如图所示的XI和YI以及旋转θZI，)显示标定特征(十字410、410A和410B)，为清晰地进行显示，特征410A和410B均显示为单个项目。这些特征410、410A和410B与标定位置一起用于根据系统和方法来计算手眼标定结果。
总之，系统和方法进行操作使得预标定处理在视场中执行三点标定，并计算从机器人坐标空间到相机图像坐标空间的粗略转换。预标定处理自动适应视场，并搜索用于三点标定的空间点。预标定处理还根据从机器人坐标空间到相机图像坐标空间的粗略转换以及相机视场的大小，计算用于手眼标定的空间位置。预标定处理可以补偿机器人的悬臂，并计算空间位置，使得标定目标始终保持在相机视场中。然后，手眼标定过程移动到来自预标定结果的一系列位置、获取图像、定位标定图案，并计算从机器人坐标系到相机坐标系的转换。
进一步参考图5的过程500，预标定处理进行操作来(相对地)移动机器人或安装在端部执行器上的相机，使得标定图案处于相机视场的中心区域(步骤510)。然后，在步骤520中，系统搜索要用于三点标定的空间点。在这一步骤中，基于整个视场的大小和/或视场内特征的间距，建立一个小的预定的步长大小(运动增量)。过程500(通过判定步骤530)确定空间点在标定中的可用性。然后，过程500基于来自视觉系统的反馈自动调整步长大小(运动增量)(步骤540)。
图6进一步详细示出了调整步骤540。建立当前步长大小(步骤610)并确定运动条件，即当前步长大小是否过大或过小。当机器人的步进运动将标定对象的部分或全部特征移出相机视场时，则为步长过大。当运动不足以分解特征以达到精确标定的目的时，则为步长过小。这可能是因为在每个步长中未能在图像中的特征之间实现预定的最小像素距离。当特征之间的间隔超过最大像素距离和/或某些或全部特征(或标定对象的一个边缘的至少一部分离开步长之间的视场)时，会出现过大的步长。作为非限制性示例，过大步长的乘数可以是1/2(减半)，过小步长的乘数可以是2(加倍)。可以设想基于基本图像特征使其他乘数固定或可变，例如，如果步长明显太大或太小，则可以使用较大/较小的乘数。生成乘数(步骤620)，并用于计算新的步长大小(步骤630)。然后，将该新步长大小发送给机器人，以根据其映射的坐标空间来控制其运动(步骤640)。调整步骤/处理540在过程500中继续，直到在运动步长之间获得令人满意的(可读的)点间距，然后判定步骤530进入步骤560。
在过程500的步骤550中，使用在适当(调整的)步长大小处识别的特征点执行三点标定。根据每一步识别出的特征，计算从机器人坐标空间到相机图像坐标空间的粗略转换。然后，在步骤560中，过程500基于该粗略的转换计算标定位置。使用上述步骤中的粗略转换，在相机视场内的运动空间均匀地采样一组平移/标定位置。这些位置可通过来自用户或其他数据源的可选输入进行自定义(例如使用对设置和标定处理进行运行的用户界面)。通过补偿机器人的悬臂和指定角度范围的选项，也可以计算一组旋转位置，即使在旋转中心距离标定目标较远并且需要大角度时，也可以将标定图案保持在视场内。这可以通过应用额外的平移和旋转来实现(例如图3中的箭头320)。
在步骤560中计算位置之后，依次将机器人移动到这些计算位置，并且在所获取的对象图像中识别每个位置的标定特征。如图4所示，这些特征应被充分地转换/旋转以识别良好的标定结果。视觉系统根据本文中大体说明的技术，使用特征位置来执行手眼标定(步骤570)。
应注意，虽然上述系统和方法与单个视觉系统相机一起示出，但可以设想，本文中的原理可应用于多个相机和/或离散图像传感器，包括立体相机。
三、结论
应该清楚的是，上述使用相对于标定对象移动的机器人来执行手眼标定的系统和方法提供了一个可靠且计算效率高的解决方案，来解决机器人运动步长可能过大或过小的问题(例如在存在悬臂式机器人臂旋转的情况)。值得注意的是，该系统和方法提供自动搜索的步长大小、三点标定的显式计算，其中在预标定中粗略地计算对象的比例和/或运动极限。更具体地，本文的系统和方法自动确定运动参数、计算空间位置并将标定图案始终保持在相机的视场内。更一般地，系统和方法期望根据视场的几何结构和标定特征的相对大小(例如交叉线)来确定机器人(其他运动设备)在手眼标定期间的运动范围。因此，标定特征越大，运动范围越小，以确保将特征始终/连续地完全保持在视场范围内(即在标定处理中执行的所有一系列运动步长中)。
以上是对本发明的示例性实施例的详细描述。可以在不脱离本发明的精神和范围的情况下进行各种修改和增加。为了在相关联的新实施例中提供多种特征组合，可以适当地将上述每个实施例的特征与其他实施例的特征相结合。此外，虽然上述描述了本发明的装置和方法的多个单独实施例，但本文仅描述了应用本发明的原理的说明。例如，在实施三点手眼标定过程时，可以使用三个以上的点(在二维或三维中)来实现标定结果。此外，如本文中所使用的术语“处理(process)”和/或“处理器(processor)”应被广泛地理解为包括各种基于电子硬件和/或软件的功能和组件(作为替换，可以被称为功能“模块”或“元件”)。此外，所描绘的处理或处理器可以与其他处理和/或处理器组合，或者被划分为各种子处理或处理器。可以根据本文的实施例对这些子处理和/或子处理器进行不同组合。同样，可以明确设想，本文中的任何功能、处理和/或处理器可以使用电子硬件、由非暂时性计算机可读的程序指令介质构成的软件或硬件和软件的组合来实现。此外，如本文中使用的各种定向和定位术语，如“垂直”、“水平”、“上”、“下”、“底”、“顶”、“侧”、“前”、“后”、“左”、“右”等，仅是相对的，不用作相对于固定坐标空间的绝对定向/定位(例如重力方向)。此外，使用“实质”或“近似”描述给定的测量值、值或特性时，它指的是在正常操作范围内达到预期结果的量，但这包括由于固有误差和系统允许公差范围内的误差(例如1-5％)而产生的一些变化。因此，本说明仅作为示例，而不是以其他方式限制本发明的范围。

Claims (19)

1.一种系统，用于执行与机器人操作器一起操作的视觉系统的手眼标定，所述机器人操作器用于提供标定对象和视觉系统相机的视场之间的相对运动，包括：
预标定处理，在所述视场中执行三点标定，并计算从所述机器人操作器的坐标空间到所述视觉系统相机的所获取图像的坐标空间的粗略转换，并且基于所述粗略转换，在多个适于执行手眼标定的各个位置上计算所述标定对象上的特征的空间点；以及
手眼标定模块，使用所述空间点执行手眼标定。
2.根据权利要求1所述的系统，其中，
所述粗略转换是基于所述机器人操作器的一组迭代运动，以及对所述空间点之间的机器人运动步长的调整来进行计算，以将所述标定对象的特征保持在所述视场内，并提供所述空间点之间的最小间隔距离。
3.根据权利要求2所述的系统，其中，
所述空间点部分地基于可选用户输入进行选择。
4.根据权利要求2所述的系统，其中，
所述机器人操作器在所述标定对象和所述视场之间引起悬臂效应。
5.根据权利要求4所述的系统，其中，
所述预标定处理被布置成补偿所述悬臂效应，并计算空间位置，以将所述标定对象保持在所述视场内。
6.根据权利要求4所述的系统，其中，
所述视觉系统相机相对于所述机器人操作器安装，并与所述机器人操作器一起移动。
7.根据权利要求6所述的系统，其中，
所述机器人操作器包括多轴机器人和运动台中的一个。
8.根据权利要求4所述的系统，其中，
所述标定对象相对于所述机器人操作器安装，并与所述机器人操作器一起移动。
9.根据权利要求8所述的系统，其中，
所述机器人操作器包括多轴机器人和运动台中的一个。
10.根据权利要求1所述的系统，其中，
所述手眼标定是在一系列运动步长中执行，所述运动步长分别定义了其间的运动步长大小，并且其中，所述运动步长大小是基于(a)所述视觉系统相机的所获取图像像素的大小和(b)所述视觉系统相机的所述视场的大小中的至少一个，所述视场的大小是根据直到当前运动步长为止所获取的所述标定对象的图像中的至少一个来确定。
11.根据权利要求10所述的系统，其中，
基于(a)三步运动处理和(b)由所述机器人操作器的一组迭代运动以及对所述空间点之间的机器人运动步长的调整中的至少一个来计算所述粗略转换，以将所述标定对象的特征保持在所述视场内，并提供所述空间点之间的最小间隔距离。
12.一种方法，用于相对于视觉系统相机的机器人操作器的手眼标定，包括以下步骤：
提供标定目标和所述视觉系统相机的视场之间的相对运动，并执行在所述机器人操作器的坐标空间和所述视觉系统的坐标空间之间产生粗略转换的预标定处理；
移动到来自所述预标定处理的结果的多个位置并在每个所述位置获取图像；
在所述图像中定位标定对象的特征；以及
计算从所述机器人的坐标空间到所述视觉系统相机的坐标空间的手眼标定转换。
13.根据权利要求12所述的方法，其中，
所述粗略转换是基于所述机器人操作器的一组迭代运动和对所述空间点之间的机器人运动步长的调整来生成，以将所述标定对象的特征保持在所述视场内，并提供所述空间点之间的最小间隔距离。
14.根据权利要求13所述的方法，还包括，
基于可选用户输入选择部分所述空间点。
15.根据权利要求13所述的方法，其中，
所述机器人操作器在所述标定对象和所述视场之间引起悬臂效应。
16.根据权利要求15所述的方法，其中，
所述预标定处理被布置成补偿所述悬臂效应，并计算空间位置，以将所述标定对象保持在所述视场中。
17.根据权利要求14所述的方法，还包括：
(a)将所述视觉系统相机相对于所述机器人操作器定位，并使其与所述机器人操作器一起移动，或
(b)将所述标定对象相对于所述机器人操作器定位，并使其与所述机器人操作器一起移动。
18.根据权利要求12所述的方法，其中，
计算所述手眼标定转换的步骤包括：
执行一系列运动步长，所述运动步长分别定义了其间的运动步长大小，并且其中，所述运动步长大小基于(a)所述视觉系统相机的所获取图像像素的大小和(b)所述视觉系统相机的所述视场的大小中的至少一个，所述视场的大小是根据直到当前运动步长为止所获取的所述标定对象的图像中的至少一个来确定。
19.根据权利要求18所述的方法，还包括：
基于(a)三步运动处理和(b)由所述机器人操作器的一组迭代运动以及对所述空间点之间的机器人运动步长的调整中的至少一个来生成所述粗略转换，以将所述标定对象的特征保持在所述视场内，并提供所述空间点之间的最小间隔距离。
CN202010079136.1A 2019-01-28 2020-02-03 机器人运动视觉系统的自动手眼标定系统与方法 Active CN111482959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311016415.3A CN117047757A (zh) 2019-01-28 2020-02-03 机器人运动视觉系统的自动手眼标定系统与方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,740 2019-01-28
US16/258,740 US11911914B2 (en) 2019-01-28 2019-01-28 System and method for automatic hand-eye calibration of vision system for robot motion

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311016415.3A Division CN117047757A (zh) 2019-01-28 2020-02-03 机器人运动视觉系统的自动手眼标定系统与方法

Publications (2)

Publication Number Publication Date
CN111482959A true CN111482959A (zh) 2020-08-04
CN111482959B CN111482959B (zh) 2023-08-22

Family

ID=71732031

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311016415.3A Pending CN117047757A (zh) 2019-01-28 2020-02-03 机器人运动视觉系统的自动手眼标定系统与方法
CN202010079136.1A Active CN111482959B (zh) 2019-01-28 2020-02-03 机器人运动视觉系统的自动手眼标定系统与方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311016415.3A Pending CN117047757A (zh) 2019-01-28 2020-02-03 机器人运动视觉系统的自动手眼标定系统与方法

Country Status (4)

Country Link
US (1) US11911914B2 (zh)
JP (2) JP6966582B2 (zh)
KR (3) KR102458415B1 (zh)
CN (2) CN117047757A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024961A1 (zh) * 2021-08-26 2023-03-02 深圳市海柔创新科技有限公司 传感器装置的补偿参数生成方法及设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11529742B2 (en) * 2019-10-21 2022-12-20 Silicon Laboratories Inc. Control of low-cost robotics and method therefor
US11878432B2 (en) 2019-10-21 2024-01-23 Silicon Laboratories Inc. Low-cost robotics for placement of integrated circuit and method therefor
JP7458741B2 (ja) * 2019-10-21 2024-04-01 キヤノン株式会社 ロボット制御装置及びその制御方法及びプログラム
CN112001967A (zh) * 2020-08-14 2020-11-27 苏州华兴源创科技股份有限公司 相机指导机械手搬运物体的方法和装置
CN112045682B (zh) * 2020-09-02 2022-01-25 亿嘉和科技股份有限公司 一种固态面阵激光安装的标定方法
CN112223285B (zh) * 2020-09-30 2022-02-01 南京航空航天大学 一种基于组合测量的机器人手眼标定方法
CN112621743B (zh) * 2020-11-19 2022-11-25 深圳众为兴技术股份有限公司 机器人及其相机固定于末端的手眼标定方法及存储介质
CN112847350B (zh) * 2020-12-30 2022-03-25 杭州思锐迪科技有限公司 手眼标定方法、系统、计算机设备和存储介质
CN113070876A (zh) * 2021-03-19 2021-07-06 深圳群宾精密工业有限公司 一种基于3d视觉的机械手点胶路径引导纠偏方法
CN113256708B (zh) * 2021-04-07 2022-09-20 深圳群宾精密工业有限公司 一种理论3d空间与实际机器人空间的标定方法
CN113211431B (zh) * 2021-04-16 2022-07-01 中铁第一勘察设计院集团有限公司 基于二维码修正机器人系统的位姿估计方法
CN113208731B (zh) * 2021-04-23 2023-02-10 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113400298B (zh) * 2021-05-10 2022-04-08 埃夫特智能装备股份有限公司 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法
CN113263501A (zh) * 2021-05-28 2021-08-17 湖南三一石油科技有限公司 一种二层台机械手控制方法、装置和存储介质
EP4101604A1 (en) * 2021-06-09 2022-12-14 Ebots, Inc. System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system
CN113172636B (zh) * 2021-06-29 2021-11-02 深圳市越疆科技有限公司 一种自动手眼标定方法、装置及存储介质
CN113744341A (zh) * 2021-07-21 2021-12-03 北京旷视科技有限公司 机器人系统的相机位姿标定方法、装置和电子设备
CN113733082A (zh) * 2021-08-16 2021-12-03 太仓攻壳科技有限公司 基于直线位移传感器的工业机器人运动学参数的标定方法
CN114406985B (zh) * 2021-10-18 2024-04-12 苏州迪凯尔医疗科技有限公司 一种目标追踪的机械臂方法、系统、设备及存储介质
CN114770461B (zh) * 2022-04-14 2023-12-01 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN114799803A (zh) * 2022-05-25 2022-07-29 天津大学 一种九轴串联式宏微结合装配机器人系统
JP2024033308A (ja) * 2022-08-30 2024-03-13 川崎重工業株式会社 ロボットシステム、および、ロボットシステムの制御方法
CN115284296A (zh) * 2022-08-31 2022-11-04 深圳前海瑞集科技有限公司 手眼标定方法、机器人及机器人作业方法
KR102592603B1 (ko) 2023-02-22 2023-10-23 주식회사 시스템알앤디 비전 검사 장비의 모니터링 방법
CN116038720B (zh) * 2023-04-03 2023-08-11 广东工业大学 一种基于点云配准的手眼标定方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090099690A1 (en) * 2004-05-17 2009-04-16 Kuka Roboter Gmbh Method for robot-assisted measurement of measurable objects
US9043024B2 (en) * 2011-08-05 2015-05-26 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Vision correction method for tool center point of a robot manipulator
KR20170087996A (ko) * 2016-01-21 2017-08-01 현대로보틱스주식회사 로봇의 캘리브레이션 장치 및 그 방법
US20170356818A1 (en) * 2016-06-14 2017-12-14 Denso Corporation Apparatus for detecting changes in a load applied there-to
US9919428B2 (en) * 2013-05-17 2018-03-20 Loxin 2002, S.L. Head and automated mechanized method with vision
US10112301B2 (en) * 2014-02-11 2018-10-30 Tyco Electronics (Shanghai) Co. Ltd. Automatic calibration method for robot systems using a vision sensor
US20190009472A1 (en) * 2013-03-22 2019-01-10 Markforged, Inc. Mid-part in-process inspection for 3d printing

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083073A (en) 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
EP0522751B1 (en) * 1991-07-01 1998-04-01 General Electric Company Polycarbonate-polysiloxane block copolymers
JP3483007B2 (ja) * 1994-04-28 2004-01-06 出光石油化学株式会社 変性ポリオルガノシロキサン及びその製造方法
JPH08118272A (ja) 1994-10-20 1996-05-14 Toyota Motor Corp ロボットのキャリブレーション方法
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP3831834B2 (ja) * 1997-11-06 2006-10-11 株式会社カネカ 硬化剤、該硬化剤を用いた硬化性組成物及び発泡性樹脂組成物、及び該発泡性樹脂組成物を用いた発泡体とその製造方法
WO2003064116A2 (en) 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
CA2369845A1 (en) 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
DE10242710A1 (de) 2002-09-13 2004-04-08 Daimlerchrysler Ag Verfahren zum Herstellen eines Verbindungsbereiches auf einem Werkstück
JP2005247195A (ja) 2004-03-05 2005-09-15 Toyota Auto Body Co Ltd 車両用シート
JP2007292113A (ja) 2006-04-21 2007-11-08 Ntn Corp 回転センサ付軸受
JP5083194B2 (ja) 2008-12-18 2012-11-28 株式会社デンソーウェーブ ロボットのキャリブレーション方法及びロボットの制御装置
EP2255930A1 (de) 2009-05-27 2010-12-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP4763074B2 (ja) 2009-08-03 2011-08-31 ファナック株式会社 ロボットのツール先端点の位置の計測装置および計測方法
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
WO2012026236A1 (ja) 2010-08-26 2012-03-01 出光興産株式会社 ポリカーボネート系樹脂組成物
JP5371927B2 (ja) 2010-10-27 2013-12-18 三菱電機株式会社 座標系校正方法及びロボットシステム
JP5561260B2 (ja) 2011-09-15 2014-07-30 株式会社安川電機 ロボットシステム及び撮像方法
EP2722136A1 (en) 2012-10-19 2014-04-23 inos Automationssoftware GmbH Method for in-line calibration of an industrial robot, calibration system for performing such a method and industrial robot comprising such a calibration system
JP6468741B2 (ja) 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
CA2928645C (en) 2013-10-25 2021-10-26 Aleksandar VAKANSKI Image-based robot trajectory planning approach
JP5850962B2 (ja) 2014-02-13 2016-02-03 ファナック株式会社 ビジュアルフィードバックを利用したロボットシステム
JP6164123B2 (ja) 2014-03-14 2017-07-19 信越化学工業株式会社 硬化性組成物、メソゲン基含有硬化物及びその製造方法
US9549781B2 (en) 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
JP6415190B2 (ja) 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
KR101841684B1 (ko) 2015-10-15 2018-03-26 주식회사 삼양사 투명성 및 난연성이 향상된 폴리실록산-폴리카보네이트 공중합체 및 그 제조방법
CN106767393B (zh) 2015-11-20 2020-01-03 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
KR102073254B1 (ko) 2016-01-07 2020-02-04 주식회사 엘지화학 난연성 폴리카보네이트계 수지 조성물 및 이의 성형품
US10076842B2 (en) 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
KR102576842B1 (ko) 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
DE102017107593B4 (de) 2017-04-07 2023-04-27 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Bestimmen unbekannter Transformationen
KR102178647B1 (ko) 2017-12-26 2020-11-13 주식회사 엘지화학 폴리카보네이트계 수지 조성물 및 이의 성형품

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090099690A1 (en) * 2004-05-17 2009-04-16 Kuka Roboter Gmbh Method for robot-assisted measurement of measurable objects
US9043024B2 (en) * 2011-08-05 2015-05-26 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Vision correction method for tool center point of a robot manipulator
US20190009472A1 (en) * 2013-03-22 2019-01-10 Markforged, Inc. Mid-part in-process inspection for 3d printing
US9919428B2 (en) * 2013-05-17 2018-03-20 Loxin 2002, S.L. Head and automated mechanized method with vision
US10112301B2 (en) * 2014-02-11 2018-10-30 Tyco Electronics (Shanghai) Co. Ltd. Automatic calibration method for robot systems using a vision sensor
KR20170087996A (ko) * 2016-01-21 2017-08-01 현대로보틱스주식회사 로봇의 캘리브레이션 장치 및 그 방법
US20170356818A1 (en) * 2016-06-14 2017-12-14 Denso Corporation Apparatus for detecting changes in a load applied there-to

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024961A1 (zh) * 2021-08-26 2023-03-02 深圳市海柔创新科技有限公司 传感器装置的补偿参数生成方法及设备

Also Published As

Publication number Publication date
JP2022028672A (ja) 2022-02-16
KR20220098699A (ko) 2022-07-12
KR20230070188A (ko) 2023-05-22
CN111482959B (zh) 2023-08-22
KR102532072B1 (ko) 2023-05-11
KR20200093464A (ko) 2020-08-05
JP6966582B2 (ja) 2021-11-17
JP2020116734A (ja) 2020-08-06
US20200238525A1 (en) 2020-07-30
US11911914B2 (en) 2024-02-27
CN117047757A (zh) 2023-11-14
KR102458415B1 (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
CN111482959B (zh) 机器人运动视觉系统的自动手眼标定系统与方法
JP6770605B2 (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
KR102276259B1 (ko) 비전-기반 조작 시스템들의 교정 및 동작
CN109118543B (zh) 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
JP5523392B2 (ja) キャリブレーション装置及びキャリブレーション方法
TWI699264B (zh) 視覺導引機器手臂校正方法
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN115446847A (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JP6912529B2 (ja) 視覚誘導ロボットアームの補正方法
US20230033339A1 (en) Image processing system
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
CN115397634A (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序
US20230191612A1 (en) Coordinate system setting system and position/orientation measurement system
TW202315725A (zh) 位置姿勢計測系統
JPH05314257A (ja) 画像処理装置及びロボット制御装置
CN117733849A (zh) 四轴机器人的工具坐标定位方法、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant