CN103209809A - 用于机器视觉系统和机器人之间的稳健校准的系统和方法 - Google Patents

用于机器视觉系统和机器人之间的稳健校准的系统和方法 Download PDF

Info

Publication number
CN103209809A
CN103209809A CN2011800238921A CN201180023892A CN103209809A CN 103209809 A CN103209809 A CN 103209809A CN 2011800238921 A CN2011800238921 A CN 2011800238921A CN 201180023892 A CN201180023892 A CN 201180023892A CN 103209809 A CN103209809 A CN 103209809A
Authority
CN
China
Prior art keywords
robot
conversion
calibration
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800238921A
Other languages
English (en)
Other versions
CN103209809B (zh
Inventor
A·S·沃莱克
L·刘
叶芗芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Cognex Technology and Investment LLC
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN103209809A publication Critical patent/CN103209809A/zh
Application granted granted Critical
Publication of CN103209809B publication Critical patent/CN103209809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了用于稳健地校准视觉系统和机器人的系统和方法。该系统和方法使多个相机（105A、105B、105C）能够校准至机器人底座（110）的坐标系，从而使机器视觉/机器人控制系统能够准确地标识机器人底座（110）坐标内感兴趣对象的位置。

Description

用于机器视觉系统和机器人之间的稳健校准的系统和方法
技术领域
本发明的说明性实施例涉及校准机器视觉系统，更具体地涉及用于在机器视觉系统和机器人之间校准的系统和方法。
背景技术
关节臂是可准确且反复地在工作空间内将末端执行器移动到指定姿态的可控制机器。如在本文中所使用的，术语“姿态”说明性地指三维位置和三维旋转的组合。机器人姿态说明性地根据机器人的坐标系的对应于末端执行器的姿态。说明性地，末端执行器是能够抓放工件的可控制机器，并且可包括例如机械夹具、真空吸引器、电磁触点等。
一般地，如本文中所使用的，关节臂和末端执行器的组合被称为机器人。可由用于执行操作的机器人访问的三维区域被称为机器人的工作空间。
机器人说明性地用于通过执行预定序列的步骤来执行任务，诸如在工作空间内移动工件。例如，末端执行器可沿着轨迹T1向末端执行器姿态PI移动。然后，末端执行器可在沿着工件T2向末端执行器姿态P2移动之前抓取工件。一旦在姿态P2，末端执行器就可释放工件。使用这些机器人的已知缺点在于，工件必须呈现在已知姿态以使机器人成功地执行该任务。例如，如果工件最初未位于预期姿态，则末端执行器可能无法抓取工件。工件姿态的不准确性是这些机器人系统的公知显著缺点，并且是不选择机器人用于执行拾取、放置、以及组装操作的典型原因。
一种消除工件姿态的不准确性的已知技术是利用传感器首先测量工件姿态并且随后利用该测量工件姿态来调整机器人的轨迹。由于机器视觉通常是快速、便宜、非接触感测模态，因此机器视觉是用于感测工件位置的典型技术。术语“视觉引导的机器人学（VGR）”说明性地指使用机器视觉系统帮助机器人执行任务的过程。
使用机器视觉来测量工件姿态的显著缺点在于，机器视觉系统通常相对于机器视觉系统的坐标系测量工件姿态，而机器人相对于机器人的坐标系移动末端执行器。由此，必须将机器视觉系统计算的工件姿态转换成机器人的坐标系以使机器人利用机器视觉系统计算的工件姿态。术语“手眼校准”说明性地指确定机器视觉系统的坐标系和机器人的坐标系之间的关系的任务。
如本领域技术人员应当理解的，手眼校准的准确性直接影响VGR过程的准确性。如果手眼校准准确地反映了机器视觉系统的坐标系和机器人的坐标系之间的关系，则对工件姿态的准确的机器视觉测量将导致用于拾取、放置、以及组装工件的准确的末端执行器姿态。相应地，如果手眼校准不准确且未反映机器视觉系统的坐标系和机器人的坐标系之间的真实关系，则对工件的准确的机器视觉测量将不一定导致用于拾取、放置、以及组装工件的准确的末端执行器姿态。这些不准确的机器人姿态可导致机器人无法执行预期任务。
Tsai和Lenz开发了一种用于执行手眼校准的公知技术。其技术在IEEE机器人自动化学报第5卷第3期第345-348页的“用于完全自治和有效的3D机器人学手/眼校准（A new technique for fully autonomous and efficient 3D roboticshand/eye calibration）”中进行了描述，其内容通过引用结合于此。Tsai和Lenz的技术说明性地获取一组机器人姿态以及相关联的采集图像。对于每一采集图像，该技术估计相对于校准对象的相机姿态。这产生相对于校准对象的一组机器人姿态和相机的估计姿态。然后，Tsai和Lenz的技术根据一组机器人姿态以及相应估计的相机姿态确定相对于关节臂的相机姿态。在静止的相机环境的示例性情况下，Tsai和Lenz的技术的显著缺点在于，该技术未明确地结合相对于机器人底座存在一个相机姿态且仅存在一个相机姿态而相对于末端执行器存在一个校准对象姿态且仅存在一个校准对象姿态的约束。相反，Tsai和Lenz的技术允许对相机姿态的独立的且由此可能不一致的估计，并且还允许对校准对象姿态的独立的且由此可能不一致的估计。
Tsai和Lenz的技术的另一显著缺点在于，该技术每次只对机器视觉系统中的单个相机执行校准。由此，如果期望对机器视觉系统中的多个相机执行校准，则Tsai和Lenz的技术必须针对每一相机反复地执行。这增加了执行校准所需的时间，并且允许对各个相机的独立的且由此可能不一致的校准。
Tsai和Lenz考虑成对的动作并考虑表达式AiX=XBi，其中Ai表征相机的感知动作而Bi表征末端执行器的相对动作。由此，他们可通过求解X来计算末端执行器和相机之间的变换，这使得多对AXi和XBi之间的总体差异最小化。在2006IEEE/RSJ智能机器人和系统国际会议论文集2008年度第4647-4653页中公布的“最佳手眼校准（Optimal Hand-Eye Calibration）”中，Strobl和Hirzinger论述了考虑表达式AX=ZB来估计末端执行器-相机变换和机器人-校准板变换的手眼校准技术，问题简约到刚性变换的系统：AiX=ZBi，其中Ai表征相机和校准板之间的感知变换，X表征末端执行器-相机变换，Z表征机器人底座-校准板变换，而Bi表征末端执行器姿态（从末端执行器到机器人底座的变换）。这些方法（以及遵循基本技术的所有其他方法）中的两种方法的缺陷在于，其涉及估计两个刚性变换之间的差别（diff(Transform1,Transforms2)），并且不存在测量两个变换之间的差异的可良好理解的、有物理意义的方式。
像Tsai和Lens以及Strobl和Hirzinger描述的方法的另一缺陷在于，仅基于校准板姿态的手眼校准是次优的。这是因为每一计算的相机-校准板姿态在一些方向上比在其他方向上更准确，但是该方向准确性信息未包含在相机-校准板姿态中。可通过考虑校准板的取向通常可比校准板的倾斜估计得更准确来理解相机-校准板姿态在一些方向上比在其他方向上更准确的事实。
发明内容
本发明的说明性实施例通过提供用于在机器视觉系统和机器人之间稳健校准的系统和方法来克服了现有技术的缺点。说明性地，将机器人移动到多个姿态，并且采集诸如校准板之类的校准对象的图像，该校准对象粘附到机器人的末端执行器并包含准确的已知位置处的特征。替换地，将校准对象固定在空间并将相机安装在机器人上，随后将该校准对象移动到多个姿态，在该多个姿态处可采集校准对象的图像。机器视觉系统用于通过测量图像中特征的位置来分析所采集图像。指定的机器人姿态和测量到的图像特征位置用于确定机器视觉系统的坐标系和机器人的坐标系之间的关系。
在示例性静止的相机环境中，本发明的说明性实施例说明性地施加在每一相机和机器人底座坐标系之间存在唯一的六自由度（6DOF）变换的约束，并且明确地施加在机器人末端执行器和校准板之间存在唯一的6DOF变换的约束。应当注意，在本发明的替换实施例中，可利用不同数量的自由度。由此，对6DOF的描述应当只作为示例性的。
除了单独的相机校准以外，本发明的说明性实施例说明性地实现了多个相机到机器人的同时校准以及单独相机校准，由此排除了首先将相机校准到机器人的工作空间并且随后将机器视觉系统校准到机器人的需要。
相机可安装在其视场涵盖机器人的一部分工作场所的空间中，或者可安装在机器人的关节臂和/或末端执行器上。安装在空间中的相机可在本文中称为静止相机，而安装在机器人的关节臂和/或末端执行器上的相机可在本文中称为活动相机。当一个相机静止地安装在空间中时，本发明的说明性实施例计算两个变换：机器人坐标系和相机坐标系之间的变换；以及校准对象的姿态和末端执行器的姿态之间的变换。当多个相机静止地安装在空间中时，本发明的说明性实施例计算机器人坐标系和每一相机坐标系之间的变换、以及校准对象的姿态和末端执行器的姿态之间的变换。应当注意，术语“校准对象”和“校准板”在本文中可互换地使用。相机的坐标系有时被称为相机姿态。校准对象的姿态有时被称为校准对象的坐标系。校准一个或多个相机时的规范校准板的坐标系有时被称为机器视觉系统的坐标系。机器视觉系统的坐标系有时称为机器视觉系统的完全坐标系。末端执行器的姿态有时被称为末端执行器的坐标系。相对于机器人底座的末端执行器姿态有时被称为机器人姿态。机器人的坐标系有时被称为机器人底座的坐标系。注意，本发明可处理可参照不同的规范校准板变换来校准不同相机的状况。换句话说，本发明的说明性实施例可处理其中可参照不同的机器视觉系统坐标系来校准一个或多个相机的状况。这是因为本发明估计每一相机的姿态，并且本发明不一定强加相机相对于机器视觉系统坐标系保持在相同姿态的约束。
当一个相机安装有机器人时，还可计算两个变换：机器人坐标系和校准对象之间的变换；以及相机姿态和末端执行器姿态之间的变换。当利用多个安装有机器人的相机时，本发明计算机器人坐标系和校准对象之间的变换、以及每一相机姿态和末端执行器姿态之间的变换。
注意，机器视觉系统的完全坐标系通常用作占位符，而机器视觉系统的完全坐标系通常没有固有的物理含义。由此，对于单个静止相机，用户可利用本发明计算的手眼校准变换相对于机器人坐标系调整机器视觉系统的完全坐标系（同时使相机和机器视觉系统的完全坐标系之间的变换保持不变）。替换地，对于单个静止相机，用户可利用本发明计算的手眼校准变换调整相机和机器视觉系统的完全坐标系之间的变换（同时使机器视觉系统的完全坐标系和机器人坐标系之间的变换保持不变）。替换地，对于单个活动相机，用户可利用本发明计算的手眼校准变换来相对于末端执行器坐标系调整机器视觉系统的完全坐标系（同时使相机和机器视觉系统的完全坐标系之间的变换保持不变）。替换地，对于单个活动相机，用户可利用本发明计算的手眼校准变换调整相机和机器视觉系统的完全坐标系之间的变换（同时使机器视觉系统的完全坐标系和末端执行器坐标系之间的变换保持不变）。由于相机姿态和机器视觉系统的完全坐标系可以此方式折衷，因此有时涉及对机器视觉的完全坐标系的估计以涉及对相机姿态的估计，并且有时涉及对相机姿态的估计以估计机器视觉的完全坐标系。
附图说明
通过参考以下描述以及附图，可更好地理解本发明的以上优点以及其他优点，在附图中类似的标号指示相同或功能相似的元件：
图1是根据本发明的说明性实施例的其中相机静止地安装在空间中以供在机器视觉系统和机器人之间校准使用的示例性机器视觉机器人环境的示意图；
图2是根据本发明的说明性实施例的其中相机安装在机器人上以供在机器视觉系统和机器人之间校准使用的示例性机器视觉机器人环境的示意图；
图3是根据本发明的说明性实施例的详细描述用于利用固定相机来执行机器人和机器视觉系统之间的校准的过程的步骤的流程图；
图4是根据本发明的说明性实施例的详细描述用于利用安装在机器人上的相机来执行机器人和机器视觉系统之间的校准的过程的步骤的流程图；以及
图5是根据本发明的说明性实施例的机器视觉系统和机器人的示例性控制系统的示意性框图。
具体实施方式
本发明的说明性实施例提供了用于在说明性地施加对于活动相机情况在每一相机和末端执行器之间存在唯一的6DOF（自由度）变换的约束、或者施加对于静止相机情况在每一相机和机器人底座之间存在唯一的6DOF变换时准确地细化手眼校准的系统和方法。应当注意，在本发明的替换实施例中，可利用不同数量的自由度。由此，对6DOF的描述应当只作为示例性的。此外，本发明的说明书实施例说明性地强加对于活动相机情况在机器人坐标系和校准板之间存在唯一的6DOF变换的约束。替换地，对于静止相机情况，本发明的说明性实施例强加在校准板坐标系和末端执行器坐标系之间存在唯一的6DOF变换的约束。说明性地，将机器人移动到指定姿态，并且采集包含准确的已知物理位置处的特征的校准对象的图像。本发明的说明性实施例涉及特征物理位置的准确知识，本发明的替换实施例可使用不准确的已知特征物理位置。校准对象不一定是平面对象（在相同平面上具有所有特征）。替换地，校准对象可以是其中特征出现在多个面上的三维对象，诸如立方体。替换地，校准对象可以是其中特征出现在多个面上的三维框（具有不同的边长度）。替换地，校准对象可以是其中特征出现在一个或两个边上的盘。
替换地，校准对象可以是具有特征的球体。替换地，校准对象可以是具有特征的圆柱体。
然后，机器视觉系统通过测量图像中的特征的位置来分析所采集图像，并且使指定机器人姿态与测量到的图像特征位置相关，以确定机器视觉系统的坐标系和机器人的坐标系之间的关系。对于活动相机情况，本发明的说明性实施例说明性地使用明确地施加在每一相机和末端执行器之间存在唯一的6DOF变换的约束、并且明确地施加在机器人坐标系和校准板之间存在唯一的6DOF变换的约束的分析。替换地，对于静止相机情况，本发明的说明性实施例说明性地使用明确地施加在每一相机和机器人底座之间存在唯一的6DOF变换的约束、并且明确地施加在校准板坐标系和末端执行器坐标系之间存在唯一的6DOF变换的约束的分析。
本发明的说明性实施例涉及使用静止校准板和静止机器人，本发明的替换实施例可涉及使用非静止校准板和/或非静止机器人，从而可采用多个6DOF变换。术语“相机”说明性地指用于测量电磁辐射的感测元件和用于弯曲电磁辐射的透镜的组合。相机感测元件的示例包括CCD传感器、CMOS传感器、以及配套电路以构成说明的二维表示。透镜通常用于将来自场景的电磁辐射聚焦到相机的感测元件上。相机有时称为机器视觉相机。对于手眼校准，相机和透镜通常彼此刚性地粘附以维持一致的观察。
细化技术的一个实施例涉及通过比较变换所映射的点之间的距离考虑这些变换之间的差异。细化技术的一个实施例涉及考虑校准板上的所有物理点pi，以及考虑AXB-1和Z两者所映射的这些点之间的物理空间差异。Z、即机器人底座和校准板之间的变换所映射的每一物理点pi对应于机器人坐标中的pi的物理位置。例如，AXB-1所映射的每一物理点pi也对应于机器人坐标中的pi的物理位置。两个物理点之间的距离是唯一且得到良好理解的。由此，可考虑所有变换所映射的所有点的总差方和∑(AXB-1pi-Zpi)2，并且该公式被良好地定义，并且依赖于测量3D点之间的距离但不依赖于估计刚性变换之间的差异。
使∑(AXB-1pi-Zpi)2最小化的实施例具有其依赖于估计相对于相机的校准板姿态的缺点，但是这些方法是次优的，因为所计算的相机-校准板姿态包含比原始特征数据少的信息。每一计算的相机-校准板姿态通常在一些方向上比在其他方向上更准确，但是该方向准确性信息未包含在相机-校准板姿态中。可通过考虑校准板的取向通常可比校准板的倾斜估计得更准确来理解相机-校准板姿态通常在一些方向上比在其他方向上更准确的事实。
像Tsai和Lenz以及Strobl和Hirzinger所描述的方法的一个显著缺陷在于，它们涉及校准单个相机。由于这些方法未提供同时校准多个相机，因此将独立地校准每一相机。单独地校准每一相机的缺点在于，每一独立的校准可采取不同的校准板姿态，然而已知对于所有相机校准板姿态是一致的。几乎始终通过结合所有相关的物理约束来提高校准准确性。
考虑相关动作的Tsai和Lenz的方法的另一显著缺陷在于，相关动作基于在时间上连续的机器人姿态。因此，机器人姿态的不同的时间排序可导致不同的手眼校准。说明性地，本发明产生与机器人姿态的排序无关的手眼校准。
该细化技术的说明性实施例根据观察到的图像特征位置而不是依赖于所计算的相机-校准板姿态来直接估计手眼校准参数。在细化技术的说明性实施例中，该系统估计3D点到相应相机上的投射，并且将估计的2D位置与测量到的2D位置进行比较。在细化技术的替换实施例中，将与每一相机中的特征位置fi相对应的3D射线ri与校准板上的相应变换点的3D位置进行比较。然后，来自这些单独比较的贡献被收集并以平方和的方式组合，从而估计使差方和最小化的手眼校准参数。在另一替换实施例中，来自单独比较的贡献可按距其对应相机的距离加权，从而3D射线和相应3D点之间的距离近似于图像差异。
对于视觉引导的机器人学，存在安装机器视觉相机的两种基本方式。在第一说明性实施例中，一个或多个机器视觉相机可安装在以下参考图1所描述的静止位置以查看机器人的工作空间。在第二说明性实施例中，一个或多个机器视觉相机可附连到关节臂和/或末端执行器（以使一个或多个相机机器人与机器人一起移动），如以下参考图2所描述的。注意，安装机器视觉相机的这些基本方式都需要使机器视觉测量由机器人最佳地使用的手眼校准。
A.校准环境
图1是根据本发明的说明性实施例的具有机器人的示例性环境100的示意图，该机器人具有粘附到末端执行器的校准板，其中多个相机安装在空间中以用于执行机器视觉至机器人的校准。环境100说明性地包括固定在空间中的多个相机105A、B、C，每一相机的视场为环境100中的至少一部分。每一相机105获取其特定相机坐标系中的视场的图像。尽管示出三个相机105A、B、C，但本发明的原理可利用任意数量的相机。应当注意，在替换实施例中，可利用不同数量的相机。由此，对三个相机的描述应当只作为示例性的。机器人说明性地包括机器人底座110、以及具有位于终端的末端执行器120的关节臂115。说明性地，机器人底座110固定在环境100内。根据本发明的说明性实施例，根据机器人底座110校准相机105的视图。即，机器人底座110用作要在校准中使用的机器人坐标系的原点。如本领域技术人员应当理解的，机器人可执行其末端执行器的重复动作以相对于校准器底座摆姿势。本发明的说明性实施例实现机器视觉系统至机器人底座坐标系的稳健校准。
关节臂115说明性地被示为具有三个分段。然而，应当注意，在替换实施例中，可利用不同数量的分段。由此，对三个分段式的关节臂115的描述应当只作为示例性的。除了关节臂定位末端执行器以外存在许多方式：用于定位末端执行器的替换致动器包括线性级、Stuart（斯图亚特）平台等的组合。此外，末端执行器120可包括本领域已知的任何类型的末端执行器，例如机械、电磁、真空吸引器等。根据本发明的说明性实施例，校准板125粘附到末端执行器120。校准板可包括通常在机器视觉系统中使用的常规校准板。示例性校准板由美国马萨诸塞州的Cognex公司出售。示例性校准板为可从Cognex公司购得的模型No.320-5029R。用于测量特征的替换校准板和方法在美国专利No.6,137,893中进行了描述。用于测量特征的替换校准板和方法在美国专利No.6,816,187中进行了描述。替换校准板和测量特征在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“使用现成TV相机和透镜进行高准确性的3D机器视觉计量的通用相机校准技术（A Versatile CameraCalibration Technique for High-Accuracy 3D Machine Vision Metrology UsingOff-the-Shelf TV Cameras and Lenses）”中进行了描述，其内容通过引用结合于此。
然而，应当注意，根据本发明的替换实施例，可利用不同类型的校准板。校准板的一个示例可以是显示校准图案的显示屏。校准板的另一示例可以是显示变化的图案的显示屏，从而可采集视频的不同图案的多幅图像且结果的合成可被认为是校准板的单次采集。由此，在以上结合的美国专利申请中描述的校准板应当只作为示例性的。校准板125以在末端执行器的移动期间防止滑动的方式粘附到末端执行器120。如在下文中进一步描述的，将关节臂15和末端执行器120移动到相机105的视场内的多个姿态。应当注意，虽然在本替换状况下，所设置的机器人姿态应当对应于致动器上的适当位置的状态，但是校准板可替换地附连到致动器而非末端执行器上的任何地方。
然后，根据本发明的说明性实施例的示教利用从多个姿态收集的图像数据以生成校准变换。
图2是根据本发明的说明性实施例的用于其中多个相机粘附到机器人的关节臂的机器视觉机器人校准的示例性环境200的示意图。校准板125固定在环境200中。说明性地，根据本发明的说明性实施例，校准板固定成使其在校准过程期间可能不移动。机器人底座110也固定在环境200内。关节臂115连接到机器人底座110，并且末端执行器120位于关节臂115的终端。粘附到关节臂115的末端的有多个相机205A、B。相机205说明性地粘附到关节臂115和/或末端执行器120。相机205被刚性地固定以使其不可独立于关节臂115和/或末端执行器120移动。应当注意，根据本发明的说明性实施例的原理，可利用任意数量的相机205。由此，对所利用的两个相机205A、B的描述应当只作为示例性的。如在下文中参考图4进一步描述的，将关节臂115和/或末端执行器120移动到各个姿态，并且采集校准板125的图像。
应当注意，虽然在本替换状况下，所设置的机器人姿态应当对应于致动器上的适当位置的姿态，但是根据本发明的说明性实施例的原理，相机可替换地附连到致动器而非末端执行器的任一部分。此外，在本替换状况下，不同的相机可附连到致动器的不同部分。根据所采集图像，可获取或计算校准信息以使在下文中参考图5进一步描述的控制系统（未示出）能够根据机器人底座坐标控制机器人。
B.使用固定（静止）相机的校准
说明性地，对于一个或多个静止相机的情况的手眼校准，诸如校准板之类的校准对象刚性地粘附到机器人的关节臂和/或末端执行器，并且将机器人移动到各个姿态以通过一个或多个相机来查看校准对象。校准对象的采集图像结合机器人姿态记录。
对于单个静止相机的情况，通过估计以下两个变换来说明性地执行手眼校准：（1）根据机器视觉系统的完全坐标系的机器人坐标系；以及（2）校准对象的姿态和末端执行器的姿态之间的变换。假设针对外来和固有参数预先校准相机，并且相机校准在手眼校准期间和之后保持恒定。由于相机校准包括相机姿态和机器视觉系统的完全坐标系之间的变换，因此估计机器视觉系统的完全坐标系本质上估计相机的姿态，原因在于相机姿态通过保持恒定的相机校准变换链接到机器视觉系统的完全坐标系。
注意，所采集的用于手眼校准的图像可用于校准相机（即，确定外来和内在的参数），并且以此方式，相机可能无需在使用校准之前校准，因为手眼校准过程可说明性地包括相机校准作为第一步骤。
由于在手眼校准过程期间相机牢固地保持在空间中且机器人底座牢固地保持在适当位置，因此机器人的坐标系应当保持恒定且机器视觉系统的坐标系应当保持恒定。因此，在机器人的坐标系和机器视觉系统的坐标系之间应当只存在一个变换。类似地，由于在手眼校准过程期间校准对象保持牢固地粘附到关节臂和/或末端执行器，因此应当只存在使末端执行器的姿态与校准对象的姿态相关的一个变换。
变换G从机器人的坐标系映射到机器视觉系统的坐标系。变换H从校准对象映射到末端执行器姿态。假设已校准相机使得映射P从机器视觉系统坐标中的3D点映射到所采集图像中的2D点。假设相机校准和相应映射P在手眼校准过程之中和之后保持恒定。变换Ri从末端执行器姿态（在步骤i）映射到机器人坐标系。令项“x(i,u,v,w)”是指与校准对象上的物理坐标(u,v,w)相对应的由图像特征提取器在步骤i观察到的图像特征位置的x坐标。令项“y(i,u,v,w)”是指与校准对象上的物理坐标(u,v,w)相对应的由图像特征提取器在步骤i观察到的图像特征位置的y坐标。因此，(x(i,u,v,w),y(i,u,v,w))是在采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于末端执行器上的3D位置H*(u,v,w)。
末端执行器上的3D位置H*(u,v,w)对应于机器人的坐标系中的3D位置Ri*H*(u,v,w)。机器人的坐标系中的3D位置Ri*H*(u,v,w)对应于机器视觉系统的坐标系中的3D位置G*Ri*H*(u,v,w)。3D位置G*Ri*H*(u,v,w)对应于采集图像中的2D位置P(G*Ri*H*(u,v,w))。采集图像中找到的特征的每一(x(i,u,v,w),y(i,u,v,w))2D位置对应于预期2D位置P(G*Ri*H*(u,v,w))。对于每一找到的2D特征位置，可将找到的2D特征位置与预期2D位置进行比较以产生图像坐标中的差异P(G*Ri*H*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))。所有差方之和∑|P(G*Ri*H*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2是实际测量数据和预期数据之间的组合差异。根据本发明的说明性实施例，通过求解G和H参数来细化手眼校准，这导致实际测量数据和预期数据之间的最小的残差方和。注意，H涉及对机器视觉系统的坐标系和机器人的坐标系之间的变换进行参数化的6个自由度（6DOF）（3个自由度用于平移且3个自由度用于旋转）。注意，G涉及对校准对象所限定的校准物理坐标系和末端执行器坐标系之间的变换进行参数化的6个自由度（6DOF）（3个自由度用于平移且3个自由度用于旋转）。
令Ga,Gb,Gc,Gx,Gy,Gz是指对G的6个变量的参数化，而Ha,Hb,Hc,Hx,Hy,Hz是指对H的6个变量的参数化。令E(Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz|测量到的图像特征位置以及相应校准位置和相应机器人姿态）是指差方和函数，该差方和函数取决于12个变量Ga,Gb,Gc,Gx,Gy,Gz和Ha,Hb,Hc,Hx,Hy,Hz以及测量到的图像特征位置及相应校准位置和相应机器人姿态。可基于对来自|P(G*Ri*H*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2的各个贡献迭代地求和在数值上计算E。
在说明性实施例中，首先使用Tsai和Lenz方法的变体来粗略地估计手眼校准参数。国际机器人研究期刊第18卷、第3号、第286-298页公布的Daniiliidis的“使用双四元法的手眼校准（Hand Eye Calibration Using Dual Quaternions）”中描述的技术说明性地用于粗略地估计手眼校准参数，其内容通过引用结合于此。在替换实施例中，用户可手动地输入对手眼校准参数的粗略估计。在其他替换实施例中，计算机程序可枚举手眼校准参数的多个粗略估计，并且细化这些枚举的粗略估计中的每一个且选择包括导致最低残差的细化手眼校准参数。
说明性地，本发明的说明性实施例通过使用梯度下降技术来细化参数值，从而找到使E最小化的参数值。对G和H的3D旋转的参数化利用与手眼校准相对应的变换的粗略估计。
四元法是对3D旋转的空间进行参数化的公知的有效方法，但是四元法遭受其涉及4个参数s0、sl、s2、s3的事实。幸运的是，根据投影坐标系定义四元法，以使缩放所有4个值r*s0、r*sl、r*s2、r*s3不影响3D旋转。因此，可定义1个变量固定的坐标表示，其中四元值之一固定在1或-1而其他三元坐标对应于3个参数。此参数化是有效的，因为从粗略估计中知晓适当的3D旋转且由此可合适地挑选哪一个四元坐标固定为1或-1。
具体而言，Levenberg-Marquadt优化技术说明性地用于执行梯度下降以通过使用误差函数的偏导在局部极值将为0，并且Levenberg-Marquadt技术在数值上求解方程组的联立解的事实来找到全局最小值，在此情况下该方程组是一组偏导：dE/dGa、dE/dGb、dE/dGc、dE/dGx、dE/dGy、dE/dGz、dE/dHa、dE/dHb、dE/dHc、dE/dHx、dE/dHy、dE/dHz。注意，由于E()是Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz的函数，因此其所有偏导可以是Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz的函数。
为了使用Levenberg-Marquadt技术，E的偏导需要在任意参数值处计算。令术语“矢量J”是指对参数值的任意选择。针对每一独立变量，可通过计算在配置J计算的E和在对称地围绕配置J且只在变量之一中略微不同的附近配置计算的E之间的差值，并且随后除以对称配置处的变量值之间的差值来在数值上估计E的一阶偏导。例如，可在配置J通过计算E值的差值和变量的差值之间的比率来计算E相对于Gc的偏导：(E(GaJ,GbJ,GcJ+δ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ)-E(GaJ,GbJ,GcJ-δ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ))/(2δ)。说明性地，利用δ的10∧-4的值，但是其他实施例可使用δ的不同值。在替换实施例中，可在配置J通过使用诸如计算E值的差值和变量的差值之间的比率之类的非对称样本配置来计算E相对于变量的偏导：(E(GaJ,GbJ,GcJ+δ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ)-E(GaJ,GbJ,GcJ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ))/δ。
替换实施例可通过设定误差函数E的分析表达式并且随后计算符号导数来分析地计算E相对于变量的偏导。符号计算的导数可能比数值计算的导数更准确，并且可能同样不需要用户挑选用于计算数值导数的步长。首先，公式化通用代数误差函数以表征一个2D图像特征位置和相应3D校准特征位置之间的误差以及机器人姿态作为未知参数的多变量代数表达式。
在内部，Levenberg-Marquadt优化方法涉及要优化的方程组的偏导。方程组是误差函数的偏导，从而Levenberg-Marquadt技术使用的偏导是E函数的二阶偏导。可通过在数值上计算dE/dvar偏导的差值（在变量之一中分离开一小量）和该小量之间的比率来相对于两个变量在数值上估计二阶偏导。例如，可在配置J通过计算(dE/dvar(GaJ,GbJ,GcJ+ε,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ)-dE/dvar(GaJ,GbJ,GcJ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ))/ε来计算E相对于Gc的二阶偏导。在替换实施例中，利用100次迭代的最大值，对于Levenberg-Marquadt优化，10∧-4的值用于ε、10∧-2的值用于λ、而10∧-6的值用于δ。变量λ通常用于指Levenberg-Marquadt方法的阻尼因数。
注意，该手眼校准方法明确地施加在每一相机和末端执行器之间存在唯一的6DOF变换的约束，并且同时强加在机器人坐标系和校准对象所限定的物理坐标系之间存在唯一的6DOF变换的约束。这是因为该手眼校准方法对每一相机和末端执行器之间的6DOF变换以及机器人坐标系和校准板之间的6DOF变换进行参数化。由于这些约束准确地反映了实际物理系统，因此与不施加这些约束的手眼校准方法相比，在手眼校准方法中施加这些约束产生更准确的手眼校准模型。
本发明实施例的另一方面涉及同时校准相对于末端执行器的多个相机的姿态和校准对象的姿态。在本发明的该方面中，对于每一相机，使用6个参数来对每一相机的姿态单独地进行参数化。由此，用于手眼校准n个相机的整个系统涉及6*n+6个参数，其中6*n个参数用于n个相机而6个参数用于相对于末端执行器的校准对象的姿态。通过对于每一相机考虑不同的机器视觉坐标系，可对多个相机执行手眼校准。这是合理的，因为对于每一相机采取一指定相机校准，并且机器视觉坐标系的略微不同的姿态等同于该相机的相机校准所指定的每一相机的略微不同的姿态。此外，表征对于每一相机的不同机器视觉坐标系的该方法容易地结合到用于细化手眼校准的框架中。如与用于表征单个相机的手眼校准的12个参数Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz相比，手眼校准使用6*(n+l)个参数Gla,Glb,Glc,Glx,Gly,Glz，G2a,G2b,G2c,G2x,G2y,G2z，…Gna,Gnb,Gnc,Gnx,Gny,Gnz和Ha,Hb,Hc,Hx,Hy,Hz来表征手眼校准。
为了对具有多个相机的系统执行手眼校准，令(xk(i,u,v,w),yk(i,u,v,w))为与相机k相对应的采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于末端执行器上的3D位置H*(u,v,w)。末端执行器上的3D位置H*(u,v,w)对应于机器人的坐标系中的3D位置Ri*H*(u,v,w)。机器人的坐标系中的3D位置Ri*H*(u,v,w)对应于相机k的机器视觉系统的坐标系中的3D位置Gk*Ri*H*(u,v,w)。3D位置Gk*Ri*H*(u,v,w)对应于相机k的采集图像中的2D位置Pk(Gk*Ri*H*(u,v,w))。采集图像中找到的特征的每一(x(i,u,v,w),y(i,u,v,w))2D位置对应于预期2D位置Pk(Gk*Ri*H*(u,v,w))。对于每一找到的2D特征位置，可将找到的2D特征位置与预期2D位置进行比较以产生差异Pk(Gk*Ri*H*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))。该差异的平方为∑|Pk(Gk*Ri*H*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2。所有这些差方之和为∑|Pk(Gk*Ri*H*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2。
在替换实施例中，图像的采集和校准对象的定位被排列成限定机器视觉坐标系的校准对象姿态将用于采集图像之一用于手眼校准。说明性地，这通过将采集用于手眼校准的图像用作用于相机校准的图像来实现，其中用于手眼校准的图像之一是用于限定用于相机校准的机器视觉坐标系的图像。替换地，这通过首先采集用于手眼校准的图像并且随后将校准对象保留在相同姿态中、以及将用于相机校准的首先采集的图像用作用于限定机器视觉坐标系的图像来实现。
图3是根据本发明的说明性实施例的详细描述用于利用固定相机执行机器视觉到机器人校准的示例性过程300的步骤的流程图。过程300在步骤305开始并继续至步骤310，其中将一个或多个相机固定在空间中。如以上所提及的，本发明的说明性实施例可同时校准多个相机。说明性地，将用于校准的相机固定在其中将以使其不可能移动的方式利用它们的环境中。在步骤315，将校准板固定到关节臂的末端执行器。在替换实施例中，校准板可粘附到关节臂的分段之一而非末端执行器。由此，对固定到末端执行器的校准板的描述应当只作为示例性的。
然后，在步骤320，将末端执行器移动到多个姿态，并且获取多个姿态中的每一个中的校准板的图像。说明性地，这些姿态中的动作包括围绕至少两个非平行轴的旋转。
此外，为了获取更好的校准信息，旋转角应当为至少5°。这不是严格的要求；然而，可通过更大的旋转或者各个姿态之间的移动来获取经改进的结果。
然后，在步骤325，对所获取图像执行图像特征提取技术以提取校准板上的特征。说明性地，特征提取步骤利用诸如Cognex公司出售的技术作为其特征检测器。用于测量特征的替换方法在美国专利No.6,137,893中进行了描述。用于测量特征的替换方法在美国专利No.6,816,187中进行了描述。用于测量特征的替换方法在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“使用现成TV相机和透镜的用于高准确性的3D机器视觉计量的通用相机校准技术（A Versatile Camera Calibration Technique forHigh-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camerasand Lenses）”中进行了描述。然而，应当注意，在替换实施例中，可利用不同的特征提取技术。由此，对利用在以上结合的美国专利中描述的技术的描述应当只作为示例性的。此外，在本发明的替换实施例中，特征提取可利用不同的技术，包括例如使用来自三维相机、取景（range）相机、一起工作的结构化照明和相机的组合来提供三维信息、使用热敏相机的热特征检测等。例如，可利用其中两个或更多个相机查看校准板并测量每一特征的3D位置的立体相机系统。
替换地，结合多个不同光学路径（诸如，不一致的透镜、反射镜、或者全息透镜元件）使用的单个感测元件可被认为是多个单独的相机。替换地，共享相同光学路径的多个感测元件可被认为是单个相机。
由此，对使用常规机器视觉系统的特征检测的描述应当只作为示例性的。
然后，在步骤330，针对每一相机计算校准板姿态（相对于每一相机的校准板的姿态）。即，通过利用一组内在数据以及已知特征位置与观察到的特征位置之间的对应关系，相对于校准板计算相机的姿态。该步骤假设已预先校准了相机的内在参数。然而，在替换实施例中，可使用所收集数据来校准相机，由此排除了首先校准相机并且随后执行机器视觉系统和机器人之间的校准的两步骤过程。可使用在美国专利No.6,816,187中描述的这些公知技术来执行相机校准。替换地，可通过在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“使用现成TV相机和透镜的用于高准确性的3D机器视觉计量的通用相机校准技术（A Versatile Camera CalibrationTechnique for High-Accuracy 3D Machine Vision Metrology Using Off-the-ShelfTV Cameras and Lenses）”中描述的技术来执行相机校准。应当注意，在本发明的替换实施例中，可利用不同形式的相机校准。由此，对利用在以上结合的美国专利申请的相机校准的描述应当只作为示例性的。
然后，在步骤335，预处理所获取的图像连同其相应机器人姿态。该预处理说明性地记录了板和机器人的动作。然后，对每一对图像和机器人姿态重新排序以使动作最大化。通过在步骤330用预先校准的相机参数计算的每一板姿态，计算每两个板姿态之间的动作。类似地，计算两个机器人姿态之间的动作。然后，计算所有成对的板动作和机器人动作，并且其差异相差预定阈值的那些对说明性地被视为离群值（outlier）且从动作对中去除。
对于一对机器人动作和校准板动作，如果表示使用围绕单个轴的等效旋转的其旋转、或者表示使用螺旋动作的动作，则旋转角在理想状况下应当相等。因此，来自同一对的机器人动作和校准板动作之间的旋转角的差值可用作该差异。重新排序使系统能够从具有任意次序的姿态中导出一致的动作，并且使用具有相当多的旋转的动作，这导致更稳定、准确且稳健的校准确定。
然后，在步骤340，校准系统对线性系统求解以标识机器人底座坐标中的变换。如上所述，这说明性地利用Tsai和Lenz技术的变体。应当注意，在本发明的替换实施例中，步骤330-340可以是任选的。
在替换实施例中，在步骤342，获取对相机-机器人变换以及末端执行器-校准板变换的初始估计。然后，在步骤345细化这些变换。该细化基于使预期2D图像特征位置和以上所提及的找到的特征位置之间的所有差方和最小化。替换地，首先可通过使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化的独立细化来细化对从末端执行器到校准板的变换以及从每一相机到机器人底座系统的变换的初始估计。然后，可将细化的变换馈送到基于2D特征位置差异的细化。替换地，如果参照指定的检查度量细化的结果未提供比未细化结果好的结果，则可在细化之后添加检查步骤以忽视细化的结果。
变换一致性细化（使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化）还同时对多个相机（即，对多个固定的相机）细化，从校准板相比到机器人末端执行器的坐标系只有一个变换。
变换一致性细化的示例如下。令Z表示从相机坐标系到机器人底座坐标系的变换。令X表示从校准板系统到机器人的末端执行器的坐标系的变换。Bi是在站点i的机器人姿态（从机器人的末端执行器的坐标系到机器人底座坐标系的变换）。Ai是在站点i的一个相机的校准板姿态（从校准板坐标系到相机坐标系的变换）。变换Ai有时被称为测量到的变换。合成Z_inverse*Bi*X有时被称为预测的变换。以下合成应当为恒等（identity）变换（因为其从校准板坐标系变换到校准板坐标系）。
Ai_inverse*Z_inverse*Bi*X
细化的目标是使每一Ai_inverse*Z_inverse*Bi*X之间的总体差异以及所有相机和移动的恒等变换最小化。
在手眼校准应用中，计算两个变换（或者两个姿态）之间的差别的说明性方式基于使用如下的工作空间维度。假设可通过边界框来表示机器人-视觉应用的工作体积，随后可通过比较该边界框的八个映射顶点vl至v8的位置来测量变换X1和变换X2之间的差别：
∑(X1*vi-X2*vi)
i=l-8
说明性步骤是使用来自变换一致性细化的经细化变换并将其馈送到基于图像特征的细化中。它提供了好得多的初始估计并可基于使用图像特征加速细化的收敛，并且避免变成在局部最小值中捕获。
如与细化之前的均方根（rms）差异相比，检查度量的一个示例是在细化之后计算的图像坐标的均方根（rms）差异。在一些情况下，机器人动作可能没有视觉系统准确，并且细化可能基于不准确的机器人姿态过拟合（overfit）相机-末端执行器变换和机器人底座-校准板变换。通过比较在细化之前和之后的残差，可确定是否想要接受来自细化的结果。
用于确定细化是否为改进的另一方法是将在细化之后计算的图像坐标的均方根（rms）差异与相机校准的图像坐标的均方根（rms）差异进行比较。通过将细化之后的残差与关联于相机校准的残差进行比较，可确定是否想要接受来自细化的结果。
然后，在步骤350，通过变换来配置相机/机器视觉系统。根据机器人底座坐标系，相机/机器视觉系统配置使系统能够报告机器视觉系统查看到的位置。然后，在步骤355，过程300完成。
C.使用活动（安装有机器人）相机的校准
在说明性实施例中，相机粘附到关节臂以根据末端执行器变换。将校准对象定位成由相机查看，并且将机器人臂/末端执行器移动到各个姿态以使校准对象由一个或多个相机查看。校准对象的采集图像结合机器人姿态记录。
类似于用于单个静止相机的手眼校准方法，用于单个活动相机手眼校准通过计算以下两个变换来执行：（1）机器人的坐标系和校准对象所限定的物理坐标系之间的变换；以及（2）相机的机器视觉坐标系和末端执行器的姿态之间的变换。由于在手眼校准过程期间机器人底座和校准对象保持静止，因此在机器人的坐标系和校准对象之间应当只存在一个变换。类似地，由于在手眼校准过程期间相机相对于末端执行器保持牢固地定位，因此应当只存在使末端执行器的姿态与相机的姿态相关的一个变换。
再一次，类似于用于静止相机的手眼校准方法，用于活动相机的手眼校准可使用所有手眼校准图像来执行相机校准，从而相机在手眼校准之前不需要预先校准。变换G从机器人的坐标系映射到校准对象的坐标系。变换G∧-1从校准对象的坐标系映射到机器人的坐标系。变换H从相机的机器视觉坐标系映射到末端执行器姿态。变换H∧-1从末端执行器姿态映射到相机的机器视觉坐标系。假设已校准相机使得映射P从机器视觉系统坐标中的3D点映射到采集图像中的2D点。假设相机校准（内在和外来的参数）以及相应映射P在手眼校准过程之中和之后保持恒定。令项Ri指从末端执行器姿态（在步骤i）映射到机器人坐标系的变换。令项Ri∧-1指从末端执行器姿态（在步骤i）映射到机器人坐标系的变换。令项“x(i,u,v,w)”指与校准对象上的物理坐标(u,v,w)相对应的在步骤i的图像特征位置的x坐标。令项“y(i,u,v,w)”指与校准对象上的物理坐标(u,v,w)相对应的在步骤i的图像特征位置的y坐标。每一(x(i,u,v,w),y(i,u,v,w))是在采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于机器人坐标系中的3D位置G∧-l*(u,v,w)。机器人坐标系中的3D位置G∧-l*(u,v,w)对应于末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)。末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)对应于相机的机器视觉系统的坐标系中的3D位置H∧-l*Ri∧-l*G∧-l*(u,v,w)。3D位置H∧-l*Ri∧-l*G∧-l*(u,v,w)对应于采集图像中的2D位置P(H∧-1*Ri∧-1*G∧-1*(u,v,w))。采集图像中找到的特征的每一(x(i,u,v,w),y(i,u,v,w))2D位置对应于预期2D位置P(H∧-1*Ri∧-l*G∧-1*(u,v,w))。对于每一找到的2D特征位置，将找到的2D特征位置与预期2D位置进行比较以产生差异P(H∧-l*Ri∧-l*G∧-l*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))。该差异的距离平方为|P(H∧-l*Ri∧-l*G∧-l*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2。所有这些差方之和为∑|P(H∧-l*Ri∧-l*G∧-l*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2并对应于图像坐标中的实际测量数据和预期数据之间的组合差异。
说明性地，通过求解G和H参数来计算手眼校准，这导致实际测量数据和预期数据之间的最小残差方和。求解使实际测量数据和预期数据之间的残差方和最小化的G和H的参数值。
用于活动相机（即，安装在机器人上的相机）的手眼校准方法类似于用于静止相机的手眼校准方法。与用于单个静止相机的手眼校准方法一样，用于安装有单个相机的手眼校准方法同样根据12个变量Ga,Gb,Gc、Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz对系统进行参数化，并且首先计算手眼校准的粗略估计且随后使用诸如梯度下降之类的优化方法来细化参数估计。与用于单个静止相机的手眼校准方法一样，用于单个活动相机的手眼校准方法同样计算误差函数E(Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz)，这表征实际测量特征位置和预测特征位置之间的差方和，并且使用诸如梯度下降之类的优化方法来细化参数。与用于单个静止相机的手眼校准方法一样，用于单个活动相机的手眼校准方法的说明性实施例同样对其中在数值上计算其偏导的误差函数的偏导系使用Levenberg-Marquadt。
与用于多个静止相机的手眼校准方法一样，用于多个活动相机的手眼校准方法的说明性实施例同样通过将变体的机器视觉系统坐标系与每一相机相关联以及使用6n+6个参数Ga,Gb,Gc,Gx,Gy,Gz，Hla,Hlb,Hlc,Hlx,Hly,Hlz，H2a,H2b,H2c,H2x,H2y,H2z，...Hna,Hnb,Hnc,Hnx,Hny,Hnz来处理多个相机，以表征手眼校准（虽然在此情况下只存在一个G变换和n个H变换）。
与用于多个静止相机的手眼校准方法一样，用于多个活动相机的手眼校准方法的说明性实施例同样令(xk(i,u,v,w),yk(i,u,v,w))指相机k的采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于机器人坐标系中的3D位置G∧-l*(u,v,w)。机器人坐标系中的3D位置G∧-l*(u,v,w)对应于末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)。末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)对应于相机k的机器视觉系统中的3D位置H∧-l*Ri∧-l*G∧-l*(u,v,w)。3D位置Hk∧-l*Ri∧-l*G∧-l*(u,v,w)对应于相机k的采集图像中的2D位置Pk(Hk∧-1*Ri∧-1*G∧-1*(u,v,w))。采集图像中找到的特征的每一(xk(i,u,v,w),yk(i,u,v,w))2D位置对应于预期2D位置Pk(Hk∧-1*Ri∧-l*G∧-1*(u,v,w))。对于每一找到的2D特征位置，将找到的2D特征位置与预期2D位置进行比较以产生图像坐标的差异Pk(Hk∧-l*Ri∧-l*G∧-l*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))。该差异的距离平方为|Pk(Hk∧-l*Ri∧-l*G∧-l*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2。所有这些差方之和为∑|Pk(Hk∧-l*Ri∧-l*G∧-l*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2并对应于实际测量数据和预期数据之间的组合差异。通过求解G和H1...Hn参数来说明性地计算手眼校准，这导致实际测量数据和预期数据之间的最小残差方和。求解使实际测量数据和预期数据之间的残差方和最小化的G和H1...Hn的参数值。
图4是根据本发明的说明性实施例的详细描述用于利用粘附到机器人的相机执行机器人视觉到机器人校准的示例性过程400的步骤的流程图。过程400在步骤405开始并继续至步骤410，其中将一个或多个相机固定到机器人。如以上所提及的，本发明的说明性实施例可同时校准多个相机。说明性地，将用于校准的相机固定到机器人的关节臂和/或末端执行器。在步骤415，将校准板固定在空间中。说明性地，校准板固定成使其将在校准过程期间不移动。然后，在步骤420，将末端执行器移动到多个姿态，并且获取多个姿态中的每一个中的校准板的图像。说明性地，这些姿态之间的移动包括围绕至少两个非平行轴的旋转。为了获取更好的校准信息，旋转角应当为至少5°。这不是严格的要求；然而，可通过移动中的更大旋转来获取经改进的结果。
在步骤425，对所获取图像执行图像检测技术以检测校准板上的特征。如上所述，特征检测可利用诸如Cognex公司出售的技术作为其特征检测器。用于测量特征的替换方法在美国专利No.6,137,893中进行了描述。用于测量特征的替换方法在美国专利No.6,816,187中进行了描述。用于测量特征的替换方法在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“用于使用现成TV相机和透镜进行高准确性的3D机器视觉计量的通用相机校准技术（A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses）”中进行了描述。此外，如以上所提及的，在本发明的替换实施例中，特征提取可利用不同的技术，包括例如使用来自三维相机的三维特征、使用热敏相机的热特征检测等。
然后，在步骤430，针对每一相机计算校准板姿态。即，通过利用一组内在数据以及已知特征位置与观察到的特征位置之间的对应关系，参照校准板计算相机的姿态。该步骤假设已预先校准了相机。然而，在替换实施例中，可使用所收集数据来校准相机，由此排除了首先校准相机并且随后执行机器视觉系统和机器人之间的校准的两步骤过程。然后，在步骤435，预处理所获取的图像以及其相应机器人姿态。该预处理说明性地记录了每一板和机器人的动作。然后，对每一对图像和机器人姿态重新排序以使动作最大化。通过在步骤430用预先校准的相机参数计算每一相机姿态，计算每两个相机姿态之间的动作。类似地，计算两个机器人姿态之间的动作。然后，计算所有成对的相机动作和机器人动作，并且其差异相差预定阈值的那些对被视为离群值且从动作对中去除。
对于一对机器人动作和相机动作，如果使用围绕单个轴的等效旋转表示其旋转、或者使用螺旋动作表示动作，则旋转角在理想状况下应当相等。因此，来自同一对的机器人动作和相机动作之间的旋转角的差值可用作该差异。
重新排序使系统能够从具有任意次序的姿态中导出一致的动作，并且使用基于相当多的旋转的动作，这导致更稳定、准确且稳健的校准确定。
应当注意，在替换实施例中，步骤430-440可以是任选的。然后，在步骤440，校准系统对线性系统求解以计算机器人底座坐标中的变换。在替换实施例中，在步骤442，获取对相机-机器人变换以及末端执行器-校准板变换的初始估计。然后，在步骤445细化这些变换。该细化基于使预期2D图像特征位置和以上所提及的找到的特征位置之间的所有差方之和最小化。替换地，首先可通过使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化的独立细化来细化对从末端执行器到相机的变换以及从板到机器人底座系统的变换的初始估计。然后，可将细化的变换馈送到基于2D特征位置差异的细化。替换地，如果相对于指定的检查度量细化的结果未提供比未细化结果好的结果，则可在细化之后添加指定检查步骤以忽视细化的结果。
变换一致性细化（使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化）同时细化多个相机的位置。换句话说，对于多个活动相机情况，从校准板坐标系到机器人底座坐标系只有一个变换。
变换一致性细化的示例如下。令Z指从校准板坐标到机器人底座坐标的变换，X指从相机坐标系到机器人的末端执行器的坐标系的变换。Bi是在站点i的机器人姿态（从机器人的末端执行器的坐标系到机器人底座坐标系的变换）。Ai是在站点i的一个相机的校准板姿态（从校准板坐标系到相机坐标系的变换）。变换Ai有时被称为测量到的变换。以下合成应当为恒等（identity）变换（因为它是从校准板坐标系到校准板坐标系的变换的合成）。
Z_inverse*Bi*X*Ai
细化的目标是使每一Z_inverse*Bi*X之间的总体差异以及所有相机和移动的恒等变换最小化。合成（Z_inverse*Bi*X）有时被称为预测的变换。
在手眼校准应用中，计算两个变换（或者两个姿态）之间的差别的说明性方式基于使用如下的工作空间维度。假设可通过边界框来表示机器人-视觉应用的工作体积，随后可通过考虑这些变换所映射的点（具体而言，边界框的八个顶点v1至v8）之间的距离来计算变换X1和X2之间的差别：
∑(X1*vi-X2*vi)
i=l-8
说明性步骤是在进一步细化相机-末端执行器变换以及机器人底座-校准板变换之前使用基于图像特征的细化来细化这些变换。最初通过使用所映射的点之间的差异的度量来细化这些变换提供了对基于图像特征的细化的好得多的初始估计，并且可加速手眼校准并还使其更稳健。
如与细化之前的均方根（rms）差异相比，检查度量的一个示例是在细化之后计算的图像坐标的均方根（rms）差异。在一些情况下，机器人动作可能没有视觉系统准确，并且细化可基于不准确的机器人姿态过拟合相机-末端执行器变换和机器人底座-校准板变换。通过比较在细化之前和之后的残差，可确定是否想要接受来自细化的结果。
用于确定细化是否为改进的另一方法是将在细化之后计算的图像坐标的均方根（rms）差异与相机校准的图像坐标的均方根（rms）差异进行比较。通过将细化之后的残差与关联于相机校准的残差进行比较，可确定是否想要接受来自细化的结果。
然后，在步骤450，通过变换来配置相机/机器视觉系统。然后，在步骤455，过程400完成。
D.控制机构
图5是根据本发明的说明性实施例的示出机器视觉系统和机器人的控制机构的示例性环境500的示意性框图。机器人底座110可操作地与在其终端具有末端执行器120的关节臂115互连。说明性地，机器人可操作地与机器人控制系统505互连。说明性地，机器人控制系统500包括处理器515、一组输入/输出适配器520、以及存储器525。用于控制机器人控制系统505和机器人的软件530存储在存储器525内。说明性地，机器人控制系统505可以不同的格式植入，这些格式包括例如使用可编程只读存储器（PROM）、非易失性随机存取存储器（NVRAM）等。由此，对机器人控制系统505的部件的描述应当仅作为示例性的。此外，应当注意，在替换实施例中，机器人控制系统505可硬接线而无需软件等。
同样，在环境500内包括相机105A、B。应当注意，在环境500中，相机105被示为固定在空间中；然而，在替换实施例中，相机可安装到机器人的关节臂115和/或末端执行器120。由此，对固定在空间中的相机105的描述应当只作为示例性的。相机105可操作地与机器视觉系统510互连。机器视觉系统510说明性地包括处理器535、输入/输出适配器540、以及存储器545。存储器545说明性地包括根据本发明的说明书实施例实现新校准技术的软件550。再一次，如以上参考机器人控制系统505所提及的，机器视觉系统510可包括替换部件，或者可包括附加和/或不同的部件。由此，此处所包含的描述应当只作为示例性的。
以上内容是对本发明的说明性实施例的详细描述。可作出各个版本中的各种修改而不背离本发明的精神和范围。另外，尽管本说明书根据在硬件上执行的软件进行书写，但是可明确地构想本发明的示教可被实现为软件，包括具有程序指令且在计算机、硬件、固件、或者其组合上执行的计算机可读介质。因此，本说明书应当只作为示例，并且不以其他方式限制本发明的范围。

Claims (39)

1.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：
将一个或多个相机固定在空间中，所述一个或多个相机中的每一个具有覆盖所述机器人的至少一部分工作场所的视场；
将校准对象固定到所述机器人的末端执行器；
当所述机器人将所述校准对象移动到所述机器人的工作场所内的多个不同的姿态时，获取所述校准对象的多幅图像；
标识从所述一个或多个相机中的每一个到机器人坐标系的变换，其中所述多幅图像中的一组观察到的特征和一组预测的图像特征之间的差异被优化；以及
使用所标识的变换来校准所述机器视觉系统和所述机器人。
2.如权利要求1所述的方法，其特征在于，所述校准对象包括校准板。
3.如权利要求1所述的方法，其特征在于，所述多个不同的姿态各自包括围绕至少两个非平行轴的旋转。
4.如权利要求3所述的方法，其特征在于，所述旋转包括至少五度的旋转。
5.如权利要求1所述的方法，其特征在于，还包括预处理所获取图像以去除离群值，其中所述预处理还包括：
确定一组离群值；
响应于确定一组离群值，消除具有所述离群值的一幅或多幅获取图像以产生缩减的一组获取图像；以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
6.如权利要求5所述的方法，其特征在于，所述合适的动作包括所述缩减的一组获取图像中的特定对之间的改变。
7.如权利要求1所述的方法，其特征在于，标识从所述一个或多个相机中的每一个到所述机器人操作系统的变换同时标识所述一个或多个相机中的每一个的变换。
8.如权利要求1所述的方法，其特征在于，所述变换准许六个自由度。
9.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：
将一个或多个相机固定到所述机器人的末端执行器，所述一个或多个相机中的每一个具有覆盖所述机器人的至少一部分工作场所的视场；
将校准对象固定在空间中；
当所述机器人将所述一个或多个相机移动到所述机器人的工作场所内的多个不同姿态时，获取所述校准对象的多幅图像；
标识从所述一个或多个相机中的每一个到末端执行器坐标系的变换，其中所述多幅图像中的一组观察到的特征和一组预测的图像特征之间的差异被优化；以及
使用所标识的变换来校准所述机器视觉系统和所述机器人。
10.如权利要求9所述的方法，其特征在于，所述校准对象包括校准板。
11.如权利要求9所述的方法，其特征在于，所述多个不同的姿态各自包括围绕至少两个非平行轴的旋转。
12.如权利要求11所述的方法，其特征在于，所述旋转包括至少五度的旋转。
13.如权利要求9所述的方法，其特征在于，还包括预处理所获取图像以去除离群值，其中所述预处理还包括：
确定一组离群值；
响应于确定一组离群值，消除具有所述离群值的一幅或多幅所获取图像以产生缩减的一组获取图像；以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
14.如权利要求13所述的方法，其特征在于，所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。
15.如权利要求9所述的方法，其特征在于，标识从所述一个或多个相机中的每一个到所述机器人操作系统的变换同时标识所述一个或多个相机中的每一个的变换。
16.如权利要求9所述的方法，其特征在于，所述变换准许六个自由度。
17.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：
将两个或更多个相机固定在空间中，所述两个或更多个相机中的每一个具有覆盖所述机器人的至少一部分工作场所的视场；
将校准对象固定到所述机器人的末端执行器；
当所述机器人将所述校准对象移动到所述机器人的工作场所内的多个不同姿态时，获取所述校准对象的多幅图像；
标识从所述两个或更多个相机中的每一个到机器人坐标系的变换，这使得观察到的数据和相应预测的数据之间的总差异最小化，其中不是所有的观察到的数据和相应预测的数据都归因于相同的相机；以及
使用所标识的变换来校准所述机器视觉系统和所述机器人。
18.如权利要求17所述的方法，其特征在于，所述校准对象包括校准板。
19.如权利要求17所述的方法，其特征在于，所述多个不同的姿态各自包括围绕至少两个非平行轴的旋转。
20.如权利要求19所述的方法，其特征在于，所述旋转包括至少五度的旋转。
21.如权利要求17所述的方法，其特征在于，还包括预处理所获取图像以去除离群值，其中所述预处理还包括：
确定一组离群值；
响应于确定一组离群值，消除具有所述离群值的一幅或多幅所获取图像以产生缩减的一组获取图像；以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
22.如权利要求21所述的方法，其特征在于，所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。
23.如权利要求17所述的方法，其特征在于，标识从所述一个或多个相机中的每一个到所述机器人操作系统的变换同时标识所述一个或多个相机中的每一个的变换。
24.如权利要求17所述的方法，其特征在于，所述变换准许六个自由度。
25.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：
将两个或更多个相机固定到所述机器人的末端执行器，所述两个或更多个相机中的每一个具有覆盖所述机器人的至少一部分工作场所的视场；
将校准对象固定在空间中；
当所述机器人将所述两个或更多个相机移动到所述机器人的工作场所内的多个不同姿态时，获取所述校准对象的多幅图像；
标识从所述两个或更多个相机中的每一个到末端执行器坐标系的变换，这使得观察到的数据和相应预测的数据之间的总差异最小化，其中不是所有的观察到的数据和相应预测的数据都归因于相同的相机；以及
使用所标识的变换来校准所述机器视觉系统和所述机器人。
26.如权利要求25所述的方法，其特征在于，所述校准对象包括校准板。
27.如权利要求25所述的方法，其特征在于，所述多个不同的姿态各自包括围绕至少两个非平行轴的旋转。
28.如权利要求27所述的方法，其特征在于，所述旋转包括至少五度的旋转。
29.如权利要求25所述的方法，其特征在于，还包括预处理所获取图像以去除离群值，其中所述预处理还包括：
确定一组离群值；
响应于确定一组离群值，消除具有所述离群值的一幅或多幅所获取图像以产生缩减的一组获取图像；以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
30.如权利要求29所述的方法，其特征在于，所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。
31.如权利要求25所述的方法，其特征在于，标识从所述一个或多个相机中的每一个到所述机器人操作系统的变换同时标识所述一个或多个相机中的每一个的变换。
32.如权利要求25所述的方法，其特征在于，所述变换准许六个自由度。
33.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：
将一个或多个相机固定在空间中，所述一个或多个相机中的每一个具有覆盖所述机器人的至少一部分工作场所的视场；
将校准对象固定到所述机器人的末端执行器；
当所述机器人将所述校准对象移动到所述机器人的工作空间内的多个不同姿态时，获取所述校准对象的多幅图像；
通过比较估计变换和预测变换所映射的点的位置，将所述一个或多个相机和所述校准板之间的所述估计变换与对应于所述校准参数的所述预测变换进行比较；
标识所述一个或多个相机中的每一个到机器人坐标系的变换，其中这些估计变换和预测变换所映射的点的位置之间的差异被优化；以及
使用所标识的变换来校准所述机器视觉系统和所述机器人。
34.一种用于确定机器视觉系统和机器人之间的校准的方法，所述方法包括：
将一个或多个相机固定到所述机器人的末端执行器，所述一个或多个相机中的每一个具有覆盖所述机器人的至少一部分工作场所的视场；
将校准对象固定在空间中；
当所述机器人将所述校准对象移动到所述机器人的工作场所内的多个不同姿态时，获取所述校准对象的多幅图像；
通过比较估计变换和预测变换所映射的点的位置，将所述一个或多个相机和所述校准板之间的所述估计变换与对应于所述校准参数的所述预测变换进行比较；
标识所述一个或多个相机中的每一个到末端执行器坐标系的变换，其中这些估计变换和预测变换所映射的点的位置之间的差异被优化；以及
使用所标识的变换来校准所述机器视觉系统和所述机器人。
35.一种用于在机器视觉系统和机器人之间校准的方法，所述方法包括：
获取一组成对的相机姿态和机器人姿态；
分析所获取的一组成对的相机姿态和机器人姿态中的相应机器人动作和相机动作；
基于所述分析检测离群值；
通过去除检测到的离群值对所述一组成对的相机姿态和机器人姿态重新排序以获取具有合适动作的一组成对的相机姿态和机器人姿态；
利用具有合适动作的一组成对的相机姿态和机器人姿态来执行校准。
36.如权利要求35所述的方法，其特征在于，合适动作包括至少五度的旋转。
37.如权利要求35所述的方法，其特征在于，合适动作包括沿着至少两个非平行轴的旋转。
38.如权利要求35所述的方法，其特征在于，所述一组成对的相机姿态和机器人姿态包括至少三对相机姿态和机器人姿态。
39.一种用于在机器视觉系统和机器人之间校准的方法，所述方法包括：
获取多个姿态中的校准对象的一组图像，其中每一图像与一特定姿态相关联；
分析所获取图像以确定每一所获取图像中的一组成对的测量特征位置；
利用一组机器人动作对来计算所述机器视觉系统和所述机器人之间的校准，其中每一机器人动作对包括多幅所获取图像中的两幅以及与所述两幅所获取图像相关联的特定姿态。
CN201180023892.1A 2010-05-14 2011-05-13 用于机器视觉系统和机器人之间的稳健校准的系统和方法 Active CN103209809B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/780,119 US9393694B2 (en) 2010-05-14 2010-05-14 System and method for robust calibration between a machine vision system and a robot
US12/780,119 2010-05-14
PCT/US2011/036460 WO2011143576A2 (en) 2010-05-14 2011-05-13 System and method for robust calibration between a machine vision system and a robot

Publications (2)

Publication Number Publication Date
CN103209809A true CN103209809A (zh) 2013-07-17
CN103209809B CN103209809B (zh) 2017-02-22

Family

ID=44121246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180023892.1A Active CN103209809B (zh) 2010-05-14 2011-05-13 用于机器视觉系统和机器人之间的稳健校准的系统和方法

Country Status (5)

Country Link
US (3) US9393694B2 (zh)
JP (1) JP5904676B2 (zh)
CN (1) CN103209809B (zh)
DE (1) DE112011101730B4 (zh)
WO (1) WO2011143576A2 (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281118A (zh) * 2013-07-02 2015-01-14 波音公司 用于度量系统的机器人安装的界标系统
CN104647390A (zh) * 2015-02-11 2015-05-27 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN104735444A (zh) * 2013-12-18 2015-06-24 康耐视公司 根据直线特征执行视觉系统平面手眼校准的系统和方法
CN105279775A (zh) * 2014-07-23 2016-01-27 广明光电股份有限公司 机器手臂的校正装置及方法
CN105269555A (zh) * 2014-06-20 2016-01-27 波音公司 机器人对准系统以及使机器人对准的方法
CN105773661A (zh) * 2016-03-30 2016-07-20 东莞市速美达自动化有限公司 水平机器人固定相机下工件平移旋转标定方法
CN105841576A (zh) * 2015-02-04 2016-08-10 赫克斯冈技术中心 坐标测量机
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN107073719A (zh) * 2014-11-21 2017-08-18 精工爱普生株式会社 机器人和机器人系统
CN107571290A (zh) * 2016-07-04 2018-01-12 北京航空航天大学 工业机器人末端执行器的校准装置、方法及系统
CN107891414A (zh) * 2016-10-04 2018-04-10 发那科株式会社 机器人系统
CN107993227A (zh) * 2017-12-15 2018-05-04 深圳先进技术研究院 一种获取3d腹腔镜手眼矩阵的方法和装置
CN108769673A (zh) * 2018-08-07 2018-11-06 布勒索特克斯光电设备（合肥）有限公司 一种相机对准和光学校准的装置及方法
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN109227601A (zh) * 2017-07-11 2019-01-18 精工爱普生株式会社 控制装置、机器人、机器人系统及校正方法
CN109313417A (zh) * 2015-11-16 2019-02-05 Abb瑞士股份有限公司 帮助机器人定位
CN109382821A (zh) * 2017-08-09 2019-02-26 欧姆龙株式会社 校准方法、校准系统及程序
CN109983299A (zh) * 2016-11-22 2019-07-05 优尼巴普公司 工业机器人的测量系统和方法
CN110103219A (zh) * 2019-03-07 2019-08-09 牧今科技 执行自动相机校准以进行机器人控制的方法和系统
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
CN110378937A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
TWI677413B (zh) * 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
CN111203915A (zh) * 2019-04-12 2020-05-29 牧今科技 用于更新用于机器人控制的相机校准的方法和控制系统
TWI699264B (zh) * 2019-07-05 2020-07-21 上銀科技股份有限公司 視覺導引機器手臂校正方法
CN111660290A (zh) * 2019-03-05 2020-09-15 波音公司 用于机器人光学传感器的自动校准
CN111716340A (zh) * 2019-03-22 2020-09-29 达明机器人股份有限公司 3d相机与机械手臂坐标系统的校正装置及方法
TWI706843B (zh) * 2020-01-02 2020-10-11 台達電子工業股份有限公司 機器人工具的校正方法與校正系統
CN111823222A (zh) * 2019-04-16 2020-10-27 华中科技大学无锡研究院 单目相机多视场视觉引导装置及引导方法
TWI708667B (zh) * 2019-09-27 2020-11-01 國立臺灣大學 運動裝置之位置與姿態校正裝置及系統與方法
US10926414B2 (en) 2017-09-29 2021-02-23 Industrial Technology Research Institute System and method for calibrating tool center point of robot
CN113787522A (zh) * 2021-10-12 2021-12-14 华侨大学 消除机械臂累积误差的手眼标定方法
CN113843792A (zh) * 2021-09-23 2021-12-28 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
TWI758626B (zh) * 2019-08-01 2022-03-21 達明機器人股份有限公司 機器手臂的視覺系統定位方法
CN114340842A (zh) * 2019-08-30 2022-04-12 Dmg森精机株式会社 生产系统
US11338441B2 (en) 2017-12-01 2022-05-24 Delta Electronics, Inc. Calibration system for robot tool and calibration method for the same
TWI799310B (zh) * 2022-06-30 2023-04-11 國立清華大學 機器人及機器人手眼校正方法
CN116673998A (zh) * 2023-07-25 2023-09-01 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置
TWI832770B (zh) * 2023-05-31 2024-02-11 台達電子工業股份有限公司 基於影像處理的機械手臂校正方法以及系統

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9610628B2 (en) * 2009-05-04 2017-04-04 Orametrix, Inc. Apparatus and method for customized shaping of orthodontic archwires and other medical devices
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
US20120327214A1 (en) * 2011-06-21 2012-12-27 HNJ Solutions, Inc. System and method for image calibration
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
EP2729850A4 (en) * 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
US20150002855A1 (en) * 2011-12-19 2015-01-01 Peter Kovacs Arrangement and method for the model-based calibration of a robot in a working space
WO2013091596A1 (de) * 2011-12-19 2013-06-27 Isios Gmbh Anordnung und verfahren zur modellbasierten kalibration eines roboters in einem arbeitsraum
JP5938954B2 (ja) * 2012-03-06 2016-06-22 株式会社ジェイテクト ロボットのキャリブレーション方法及びキャリブレーション装置
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
DE102012014312A1 (de) * 2012-07-19 2014-05-15 Kuka Roboter Gmbh Robotergeführte Messanordnung
JP5620445B2 (ja) * 2012-09-13 2014-11-05 ファナック株式会社 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置
JP6108860B2 (ja) 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
EP2981397B1 (en) 2013-04-05 2017-06-14 ABB Schweiz AG A robot system and method for calibration
CN103389699B (zh) * 2013-05-09 2015-08-12 浙江大学 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
US9628778B2 (en) * 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人系统的自动标定方法
FR3019909B1 (fr) * 2014-04-11 2016-04-01 Snecma Module porte mires pour la calibration du systeme de vision d'un moyen de production
US9856037B2 (en) * 2014-06-18 2018-01-02 The Boeing Company Stabilization of an end of an extended-reach apparatus in a limited-access space
US9211643B1 (en) * 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
JP6507792B2 (ja) * 2015-03-30 2019-05-08 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP6565175B2 (ja) * 2014-11-21 2019-08-28 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP6486679B2 (ja) 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
TWI577493B (zh) 2014-12-26 2017-04-11 財團法人工業技術研究院 校正方法與應用此方法的自動化設備
US9616569B2 (en) * 2015-01-22 2017-04-11 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
CN107530881B (zh) * 2015-01-29 2021-05-25 Abb瑞士股份有限公司 机器人系统和用于操作机器人的方法
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
JP6562665B2 (ja) 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
DE102015104587B4 (de) 2015-03-26 2022-04-28 Pi4_Robotics Gmbh Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
US9857786B2 (en) 2015-03-31 2018-01-02 Recognition Robotics, Inc. System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
US9878447B2 (en) * 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
ZA201505409B (en) * 2015-07-27 2016-12-21 Csir A method of calibrating a helmet anda system therefor
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP2017100202A (ja) * 2015-11-30 2017-06-08 株式会社アイキューブテクノロジ ロボットシステム、制御装置、制御方法、及びプログラム
JP6674655B2 (ja) * 2016-01-12 2020-04-01 株式会社Ihi 相対データ較正装置と方法
US9815204B2 (en) * 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
DE102016103317B4 (de) * 2016-02-25 2018-12-06 Roboception Gmbh Verfahren zur Gewinnung von Kalibrierungsdaten
DE102016203701A1 (de) * 2016-03-07 2017-09-07 Kuka Roboter Gmbh Industrieroboter mit mindestens zwei Bilderfassungseinrichtungen
JP2017170571A (ja) * 2016-03-24 2017-09-28 セイコーエプソン株式会社 ロボット、ロボット制御装置、及びロボットシステム
US10214926B2 (en) * 2016-03-29 2019-02-26 Elid Technology International Pte Ltd System and method for cleaning external walls of building
US10596706B2 (en) * 2016-04-08 2020-03-24 Delta Electronics, Inc. Mechanism-parameter-calibration method for robotic arm system
US11267125B2 (en) 2016-04-08 2022-03-08 Delta Electronics, Inc. Mechanism-parameter-calibration method for robotic arm system
US10322506B2 (en) 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
DE102016212694A1 (de) * 2016-05-31 2017-11-30 Siemens Aktiengesellschaft Verfahren zur Orientierung eines Industrieroboters und Industrieroboter
WO2017220600A2 (de) * 2016-06-20 2017-12-28 Cognex Corporation Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets
US10076842B2 (en) 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
JP7179439B2 (ja) * 2016-11-28 2022-11-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
JP6396516B2 (ja) 2017-01-12 2018-09-26 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
KR20230092034A (ko) * 2017-01-24 2023-06-23 엔제루 구루푸 가부시키가이샤 칩 인식 시스템
US10661442B2 (en) * 2017-02-03 2020-05-26 Abb Schweiz Ag Calibration article for a 3D vision robotic system
JP6860843B2 (ja) * 2017-02-20 2021-04-21 株式会社安川電機 ロボットシステム、ロボット制御装置、及びロボット制御方法
WO2018199947A1 (en) * 2017-04-26 2018-11-01 Hewlett-Packard Development Company, L.P. Robotic structure calibrations
WO2018236347A1 (en) * 2017-06-20 2018-12-27 Hewlett-Packard Development Company, L.P. DETERMINATIONS OF SENSOR POSITIONS
FR3069691B1 (fr) * 2017-07-25 2020-07-10 Safran Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur
JP2019029820A (ja) 2017-07-31 2019-02-21 セイコーエプソン株式会社 カメラの校正方法および校正用具
WO2019095045A1 (en) 2017-11-20 2019-05-23 Kindred Systems Inc. Systems, devices, articles, and methods for calibration of rangefinders and robots
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US11088004B2 (en) 2018-01-30 2021-08-10 Brooks Automation, Inc. Automatic wafer centering method and apparatus
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
JP6777670B2 (ja) 2018-03-27 2020-10-28 ファナック株式会社 画像処理を利用してロボットの教示を補正するロボットシステム
CN110349218A (zh) * 2018-04-03 2019-10-18 泰科电子(上海)有限公司 摄像机的标定方法和标定系统
WO2019206247A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd System and method for camera calibration
WO2020024178A1 (zh) * 2018-08-01 2020-02-06 深圳配天智能技术研究院有限公司 一种手眼标定方法、系统及计算机存储介质
US11002529B2 (en) 2018-08-16 2021-05-11 Mitutoyo Corporation Robot system with supplementary metrology position determination system
US11745354B2 (en) 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10871366B2 (en) 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
US10751883B2 (en) 2018-08-16 2020-08-25 Mitutoyo Corporation Robot system with supplementary metrology position coordinates determination system
WO2020047713A1 (en) * 2018-09-03 2020-03-12 Abb Schweiz Ag Method and apparatus for managing robot system
US10913156B2 (en) 2018-09-24 2021-02-09 Mitutoyo Corporation Robot system with end tool metrology position coordinates determination system
CN110969665B (zh) * 2018-09-30 2023-10-10 杭州海康威视数字技术股份有限公司 一种外参标定方法、装置、系统及机器人
US11609574B2 (en) * 2018-11-13 2023-03-21 FLIR Belgium BVBA Extrinsic sensor calibration systems and methods
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
TWI696529B (zh) * 2018-11-30 2020-06-21 財團法人金屬工業研究發展中心 自動定位方法以及自動控制裝置
CN109719726B (zh) * 2018-12-30 2021-08-20 芜湖哈特机器人产业技术研究院有限公司 一种机械臂手眼标定装置及方法
CN109794963B (zh) * 2019-01-07 2021-06-01 南京航空航天大学 一种面向曲面构件的机器人快速定位方法
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
DE102019102927B4 (de) 2019-02-06 2023-02-23 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
DE102019105466B3 (de) 2019-03-04 2020-08-06 Forward Ttc Gmbh Verfahren zum Betrieb eines Antriebssystems sowie Antriebssystem
GB2582139B (en) * 2019-03-11 2021-07-21 Arrival Ltd A method for determining positional error within a robotic cell environment
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
JP7186349B2 (ja) * 2019-06-27 2022-12-09 パナソニックＩｐマネジメント株式会社 エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
KR20210004553A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
EP3792012B1 (en) * 2019-09-12 2023-12-27 Bayerische Motoren Werke Aktiengesellschaft Method and control unit for operating a rotating head system with multiple cameras
JP7443014B2 (ja) 2019-10-08 2024-03-05 大豊精機株式会社 ロボットアーム試験装置
CN110634164B (zh) * 2019-10-16 2022-06-14 易思维（杭州）科技有限公司 视觉传感器快速标定方法
US11370121B2 (en) 2019-10-29 2022-06-28 Mujin, Inc. Method and system for determining poses for camera calibration
CN111131813B (zh) * 2019-10-29 2020-12-25 牧今科技 用于确定相机校准的姿态的方法、系统和介质
CA3161301A1 (en) 2019-11-12 2021-05-20 Bright Machines, Inc. A software defined manufacturing/assembly system
CN111191546A (zh) * 2019-12-20 2020-05-22 广西柳州联耕科技有限公司 基于机器视觉识别的产品智能装配方法
CN115552476A (zh) * 2020-02-06 2022-12-30 伯克希尔格雷营业股份有限公司 用于利用可编程运动装置的铰接臂上的位置未知的基准物的照相机校准的系统和方法
CN111591474B (zh) * 2020-02-28 2021-12-07 上海航天控制技术研究所 一种航天器在轨操作系统对准式手眼标定方法
US20210291376A1 (en) * 2020-03-18 2021-09-23 Cognex Corporation System and method for three-dimensional calibration of a vision system
CN111710002B (zh) * 2020-05-27 2022-09-16 华中科技大学 一种基于Optitrack系统的相机外参标定方法
CN111912337B (zh) * 2020-07-24 2021-11-09 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质
US11548156B2 (en) * 2020-09-17 2023-01-10 Techman Robot Inc. Device and method for calibrating coordinate system of 3D camera and robotic arm
US20220134566A1 (en) * 2020-11-04 2022-05-05 X Development Llc Optimizing calibration with constraints between different coordinate frames
CN112847350B (zh) * 2020-12-30 2022-03-25 杭州思锐迪科技有限公司 手眼标定方法、系统、计算机设备和存储介质
US20220219328A1 (en) * 2021-01-08 2022-07-14 General Electric Company Method and device for creation of three dimensional tool frame
US20220264072A1 (en) * 2021-02-12 2022-08-18 Sony Group Corporation Auto-calibrating n-configuration volumetric camera capture array
CN112975973B (zh) * 2021-03-02 2022-07-26 中山大学 一种应用于柔性机器人的混合标定方法及装置
CN112936315B (zh) * 2021-03-18 2022-12-20 深圳市梯易易智能科技有限公司 一种基于成像方式的机械臂校准方法及装置
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
EP4094897B1 (de) * 2021-05-26 2023-09-20 MVTec Software GmbH Hand-auge-kalibrierung von kamerageführten apparaturen
EP4116043A3 (en) * 2021-06-09 2023-02-15 Ebots, Inc. System and method for error correction and compensation for 3d eye-to-hand coordination
TWI782709B (zh) * 2021-09-16 2022-11-01 財團法人金屬工業研究發展中心 手術機械臂控制系統以及手術機械臂控制方法
CN115890638A (zh) * 2021-09-30 2023-04-04 台达电子工业股份有限公司 自动化机械手臂系统
DE102021126517A1 (de) 2021-10-13 2023-04-13 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung, Verfahren zum Betreiben einer Robotervorrichtung sowie Steuereinheit für eine Robotervorrichtung
CN114454167B (zh) * 2022-02-11 2024-06-07 四川锋准机器人科技有限公司 一种种植牙机器人末端夹持器几何尺寸的标定方法
CN114589698B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005479A1 (en) * 1991-08-30 1993-03-18 Cimetrix Incorporated Robot end-effector terminal control frame (tcf) calibration method and device
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
EP0963816B1 (de) * 1998-06-12 2006-03-08 AMATEC GmbH Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法
EP2070664A1 (en) * 2007-12-14 2009-06-17 Montanuniversität Leoben Object processing system

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2598019B1 (fr) 1986-04-25 1992-09-11 Thomson Csf Procede d'utilisation d'une matrice photosensible a transfert de charge, et matrice photosensible ainsi utilisee
FR2604320B1 (fr) 1986-09-19 1988-11-04 Thomson Csf Systeme de prise de vues en videographie rapide utilisant un capteur optique matriciel a transfert de charges
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
FR2631188A1 (fr) 1988-05-03 1989-11-10 Thomson Csf Photodetecteur matriciel a transfert de charges avec dispositif integre de filtrage de charges
FR2711824B1 (fr) 1993-10-21 1996-01-05 Recif Sa Procédés et dispositifs d'identification de caractères inscrits sur des substrats.
JPH08201021A (ja) 1995-01-23 1996-08-09 Mazda Motor Corp キャリブレーション方法
US5742037A (en) 1996-03-07 1998-04-21 Cognex Corp. Method and apparatus for high speed identification of objects having an identifying feature
US5978502A (en) 1996-04-01 1999-11-02 Cognex Corporation Machine vision methods for determining characteristics of three-dimensional objects
US5859924A (en) 1996-07-12 1999-01-12 Robotic Vision Systems, Inc. Method and system for measuring object features
US6026172A (en) 1996-09-06 2000-02-15 Lewis, Jr.; Clarence A. System and method for zoom lens calibration and method using same
JPH1080882A (ja) 1996-09-06 1998-03-31 Fujitsu Ltd ロボット用座標変換パラメータ測定方法
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US5918196A (en) 1996-11-29 1999-06-29 Cognex Corporation Vision system for analyzing solid-of-revolution radius profile
US6005965A (en) 1997-04-07 1999-12-21 Komatsu Ltd. Inspection apparatus for semiconductor packages
DE19734695C1 (de) * 1997-08-11 1998-11-05 Leica Mikroskopie & Syst Verfahren zur Korrektur der Messfehler einer Koodinaten-Messmaschine
US5978080A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
US5978521A (en) 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US6044530A (en) 1997-10-02 2000-04-04 Stanley Fastening Systems, L.P. Slotted clip and method
US6658145B1 (en) 1997-12-31 2003-12-02 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6856698B1 (en) 1997-11-26 2005-02-15 Cognex Corporation Fast high-accuracy multi-dimensional pattern localization
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6850646B1 (en) 1997-12-31 2005-02-01 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6070109A (en) * 1998-03-10 2000-05-30 Fanuc Robotics North America, Inc. Robot calibration system
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
DE19848765C2 (de) 1998-10-22 2000-12-21 Brainlab Med Computersyst Gmbh Positionsverifizierung in Kamerabildern
US7068825B2 (en) 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
JP4453119B2 (ja) * 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
GB9914918D0 (en) * 1999-06-26 1999-08-25 British Aerospace Method and apparatus for calibrating a first co-ordinate frame of an indexing means in a second frame of a sensing means
US6166811A (en) 1999-08-12 2000-12-26 Perceptron, Inc. Robot-based gauging system for determining three-dimensional measurement data
US6594623B1 (en) 1999-11-12 2003-07-15 Cognex Technology And Investment Corporation Determining three-dimensional orientation of objects
US6639624B1 (en) 1999-12-30 2003-10-28 Cognex Corporation Machine vision methods for inspection of leaded components
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
JP2004504077A (ja) 2000-04-19 2004-02-12 オラメトリックス　インコーポレイテッド 歯の口内走査に基づいたインタラクティブな歯列矯正ケアシステム
WO2001080764A1 (en) 2000-04-25 2001-11-01 Align Technology, Inc. Systems and methods for varying elastic modulus appliances
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US7414732B2 (en) 2000-05-16 2008-08-19 Steinbichler Optotechnik Gmbh Method and device for determining the 3D profile of an object
US6718074B1 (en) 2000-06-02 2004-04-06 Cognex Corporation Method and apparatus for inspection for under-resolved features in digital images
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
US6624899B1 (en) 2000-06-29 2003-09-23 Schmitt Measurement Systems, Inc. Triangulation displacement sensor
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US6771808B1 (en) * 2000-12-15 2004-08-03 Cognex Corporation System and method for registering patterns transformed in six degrees of freedom using machine vision
US6681151B1 (en) 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
US6728582B1 (en) * 2000-12-15 2004-04-27 Cognex Corporation System and method for determining the position of an object in three dimensions using a machine vision system with two cameras
US6751361B1 (en) 2000-12-22 2004-06-15 Cognex Corporation Method and apparatus for performing fixturing in a machine vision system
US6798925B1 (en) * 2000-12-22 2004-09-28 Cognex Corporation Method and apparatus for calibrating an image acquisition system
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
SE0103279L (sv) 2001-10-02 2003-04-03 Integrated Vision Prod Förfarande för mätning av ljusspridning och geometrisk profil
US6993177B1 (en) * 2001-11-02 2006-01-31 Cognex Technology And Investment Corporation Gauging based on global alignment and sub-models
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US7212228B2 (en) * 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
JP2005515910A (ja) * 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP4226550B2 (ja) 2002-07-25 2009-02-18 ソリューショニックス コーポレーション 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
WO2004040231A2 (en) * 2002-10-29 2004-05-13 Metron Systems, Inc. Calibration for 3d measurement system
JP3944091B2 (ja) 2003-02-06 2007-07-11 パルステック工業株式会社 ３次元画像データ生成方法
SE524818C2 (sv) * 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
JP4021351B2 (ja) 2003-03-24 2007-12-12 株式会社新川 ボンディング用照明装置及びボンディング用照明装置の較正方法
US7373270B2 (en) 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
JP4346950B2 (ja) * 2003-05-02 2009-10-21 キヤノン株式会社 情報処理方法および装置
JP2004354257A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
DE10333802B4 (de) 2003-07-24 2005-09-08 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Prüfen von Reifen
JP3733364B2 (ja) * 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
EP1709617A2 (en) * 2003-12-30 2006-10-11 Trustees Of The Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP3930482B2 (ja) * 2004-01-19 2007-06-13 ファナック株式会社 ３次元視覚センサ
US7609893B2 (en) 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP2006110705A (ja) 2004-09-15 2006-04-27 Yaskawa Electric Corp ロボットのキャリブレーション方法
US7356425B2 (en) 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
US7590218B2 (en) * 2005-03-23 2009-09-15 Best Medical International, Inc. System for monitoring the geometry of a radiation treatment apparatus, trackable assembly, program product, and related methods
JP2006289531A (ja) * 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
EP2439697A3 (en) * 2005-09-22 2012-07-04 3M Innovative Properties Company Method for refining the calibration of an imaging system
DE102005048136B4 (de) * 2005-10-06 2010-01-21 Kuka Roboter Gmbh Verfahren zum Bestimmen eines virtuellen Tool-Center-Points
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7656425B2 (en) * 2006-03-31 2010-02-02 Mitutoyo Corporation Robust field of view distortion calibration
US20080129894A1 (en) * 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
US8593524B2 (en) * 2006-12-18 2013-11-26 Koninklijke Philips N.V. Calibrating a camera system
JP4298757B2 (ja) * 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
JP5230114B2 (ja) * 2007-03-13 2013-07-10 キヤノン株式会社 情報処理装置、情報処理方法
JP5270670B2 (ja) 2007-05-29 2013-08-21 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション ２次元画像による３次元組立て検査
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
US7777300B2 (en) 2007-09-18 2010-08-17 Infineon Technologies Ag Semiconductor device with capacitor
US7979159B2 (en) * 2008-04-30 2011-07-12 Abb Technology Ab Method and system for determining the relation between a robot coordinate system and a local coordinate system located in the working range of the robot
US8248476B2 (en) * 2008-09-03 2012-08-21 University Of South Carolina Robust stereo calibration system and method for accurate digital image correlation measurements
GB2465793A (en) * 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
US8442304B2 (en) 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005479A1 (en) * 1991-08-30 1993-03-18 Cimetrix Incorporated Robot end-effector terminal control frame (tcf) calibration method and device
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
EP0963816B1 (de) * 1998-06-12 2006-03-08 AMATEC GmbH Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法
EP2070664A1 (en) * 2007-12-14 2009-06-17 Montanuniversität Leoben Object processing system

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281118A (zh) * 2013-07-02 2015-01-14 波音公司 用于度量系统的机器人安装的界标系统
CN104735444B (zh) * 2013-12-18 2018-10-12 康耐视公司 根据直线特征执行视觉系统平面手眼校准的系统和方法
CN104735444A (zh) * 2013-12-18 2015-06-24 康耐视公司 根据直线特征执行视觉系统平面手眼校准的系统和方法
CN105269555A (zh) * 2014-06-20 2016-01-27 波音公司 机器人对准系统以及使机器人对准的方法
CN105279775B (zh) * 2014-07-23 2019-09-17 广明光电股份有限公司 机器手臂的校正装置及方法
CN105279775A (zh) * 2014-07-23 2016-01-27 广明光电股份有限公司 机器手臂的校正装置及方法
CN107073719A (zh) * 2014-11-21 2017-08-18 精工爱普生株式会社 机器人和机器人系统
CN107073719B (zh) * 2014-11-21 2020-07-28 精工爱普生株式会社 机器人和机器人系统
TWI670153B (zh) * 2014-11-21 2019-09-01 日商精工愛普生股份有限公司 機器人及機器人系統
CN105841576A (zh) * 2015-02-04 2016-08-10 赫克斯冈技术中心 坐标测量机
CN104647390B (zh) * 2015-02-11 2016-02-10 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN104647390A (zh) * 2015-02-11 2015-05-27 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN109313417A (zh) * 2015-11-16 2019-02-05 Abb瑞士股份有限公司 帮助机器人定位
CN105773661A (zh) * 2016-03-30 2016-07-20 东莞市速美达自动化有限公司 水平机器人固定相机下工件平移旋转标定方法
CN105773661B (zh) * 2016-03-30 2018-08-21 广东速美达自动化股份有限公司 水平机器人固定相机下工件平移旋转标定方法
CN107571290A (zh) * 2016-07-04 2018-01-12 北京航空航天大学 工业机器人末端执行器的校准装置、方法及系统
CN107571290B (zh) * 2016-07-04 2020-04-28 北京航空航天大学 工业机器人末端执行器的校准装置、方法及系统
CN107891414B (zh) * 2016-10-04 2020-04-17 发那科株式会社 机器人系统
CN107891414A (zh) * 2016-10-04 2018-04-10 发那科株式会社 机器人系统
CN109983299A (zh) * 2016-11-22 2019-07-05 优尼巴普公司 工业机器人的测量系统和方法
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN106553195B (zh) * 2016-11-25 2018-11-27 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN109227601A (zh) * 2017-07-11 2019-01-18 精工爱普生株式会社 控制装置、机器人、机器人系统及校正方法
CN109382821A (zh) * 2017-08-09 2019-02-26 欧姆龙株式会社 校准方法、校准系统及程序
CN109382821B (zh) * 2017-08-09 2022-02-11 欧姆龙株式会社 校准方法、校准系统及程序
US10926414B2 (en) 2017-09-29 2021-02-23 Industrial Technology Research Institute System and method for calibrating tool center point of robot
US11338441B2 (en) 2017-12-01 2022-05-24 Delta Electronics, Inc. Calibration system for robot tool and calibration method for the same
CN107993227B (zh) * 2017-12-15 2020-07-24 深圳先进技术研究院 一种获取3d腹腔镜手眼矩阵的方法和装置
CN107993227A (zh) * 2017-12-15 2018-05-04 深圳先进技术研究院 一种获取3d腹腔镜手眼矩阵的方法和装置
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN108769673A (zh) * 2018-08-07 2018-11-06 布勒索特克斯光电设备（合肥）有限公司 一种相机对准和光学校准的装置及方法
CN111195897A (zh) * 2018-11-20 2020-05-26 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
CN111195897B (zh) * 2018-11-20 2021-09-14 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
TWI677413B (zh) * 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
US11524406B2 (en) 2018-11-20 2022-12-13 Industrial Technology Research Institute Calibration method and device for robotic arm system
CN111331592A (zh) * 2018-12-19 2020-06-26 财团法人工业技术研究院 机械手臂工具中心点校正装置及其方法以及机械手臂系统
CN111331592B (zh) * 2018-12-19 2021-05-25 财团法人工业技术研究院 机械手臂工具中心点校正装置及其方法以及机械手臂系统
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
US11247340B2 (en) 2018-12-19 2022-02-15 Industrial Technology Research Institute Method and apparatus of non-contact tool center point calibration for a mechanical arm, and a mechanical arm system with said calibration function
CN111660290A (zh) * 2019-03-05 2020-09-15 波音公司 用于机器人光学传感器的自动校准
CN110103219A (zh) * 2019-03-07 2019-08-09 牧今科技 执行自动相机校准以进行机器人控制的方法和系统
CN111015665B (zh) * 2019-03-07 2020-12-04 牧今科技 执行自动相机校准以进行机器人控制的方法和系统
CN110103219B (zh) * 2019-03-07 2022-06-14 牧今科技 执行自动相机校准以进行机器人控制的方法和系统
CN111015665A (zh) * 2019-03-07 2020-04-17 牧今科技 执行自动相机校准以进行机器人控制的方法和系统
TWI706841B (zh) * 2019-03-22 2020-10-11 達明機器人股份有限公司 ３ｄ相機與機械手臂座標系統的校正裝置及方法
CN111716340A (zh) * 2019-03-22 2020-09-29 达明机器人股份有限公司 3d相机与机械手臂坐标系统的校正装置及方法
US11571816B2 (en) 2019-04-12 2023-02-07 Mujin, Inc. Method and control system for updating camera calibration for robot control
CN111203915A (zh) * 2019-04-12 2020-05-29 牧今科技 用于更新用于机器人控制的相机校准的方法和控制系统
CN111823222B (zh) * 2019-04-16 2021-04-27 华中科技大学无锡研究院 单目相机多视场视觉引导装置及引导方法
CN111823222A (zh) * 2019-04-16 2020-10-27 华中科技大学无锡研究院 单目相机多视场视觉引导装置及引导方法
CN110378937B (zh) * 2019-05-27 2021-05-11 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN110378937A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
TWI699264B (zh) * 2019-07-05 2020-07-21 上銀科技股份有限公司 視覺導引機器手臂校正方法
TWI758626B (zh) * 2019-08-01 2022-03-21 達明機器人股份有限公司 機器手臂的視覺系統定位方法
CN114340842A (zh) * 2019-08-30 2022-04-12 Dmg森精机株式会社 生产系统
TWI708667B (zh) * 2019-09-27 2020-11-01 國立臺灣大學 運動裝置之位置與姿態校正裝置及系統與方法
TWI706843B (zh) * 2020-01-02 2020-10-11 台達電子工業股份有限公司 機器人工具的校正方法與校正系統
CN113843792A (zh) * 2021-09-23 2021-12-28 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN113843792B (zh) * 2021-09-23 2024-02-06 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN113787522A (zh) * 2021-10-12 2021-12-14 华侨大学 消除机械臂累积误差的手眼标定方法
TWI799310B (zh) * 2022-06-30 2023-04-11 國立清華大學 機器人及機器人手眼校正方法
TWI832770B (zh) * 2023-05-31 2024-02-11 台達電子工業股份有限公司 基於影像處理的機械手臂校正方法以及系統
CN116673998A (zh) * 2023-07-25 2023-09-01 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置
CN116673998B (zh) * 2023-07-25 2023-10-20 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置

Also Published As

Publication number Publication date
US20110280472A1 (en) 2011-11-17
US20190084160A1 (en) 2019-03-21
DE112011101730T5 (de) 2013-06-27
US20160039096A1 (en) 2016-02-11
US10421189B2 (en) 2019-09-24
US9393694B2 (en) 2016-07-19
JP2013526423A (ja) 2013-06-24
US11077557B2 (en) 2021-08-03
WO2011143576A3 (en) 2012-08-09
DE112011101730B4 (de) 2016-03-17
WO2011143576A2 (en) 2011-11-17
JP5904676B2 (ja) 2016-04-20
CN103209809B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103209809A (zh) 用于机器视觉系统和机器人之间的稳健校准的系统和方法
US9025857B2 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
EP2636493B1 (en) Information processing apparatus and information processing method
EP2682710B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
De Luca et al. On-line estimation of feature depth for image-based visual servoing schemes
CN109153125A (zh) 用于定向工业机器人的方法和工业机器人
JP6324025B2 (ja) 情報処理装置、情報処理方法
US20130114886A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
Olarra et al. Geometrical calibration and uncertainty estimation methodology for a novel self-propelled miniature robotic machine tool
Rendón-Mancha et al. Robot positioning using camera-space manipulation with a linear camera model
Boby Identification of elasto-static parameters of an industrial robot using monocular camera
Luo et al. Automated tool coordinate calibration system of an industrial robot
Sengupta et al. Simultaneous tracking and elasticity parameter estimation of deformable objects
Zhang et al. Deep learning reactive robotic grasping with a versatile vacuum gripper
KR101972432B1 (ko) 레이저비전 센서 및 그 보정방법
Cerveri et al. Combined evolution strategies for dynamic calibration of video-based measurement systems
Chiwande et al. Comparative need analysis of industrial robot calibration methodologies
Rousseau et al. Machine vision system for the automatic identification of robot kinematic parameters
Andreff et al. Vision‐based kinematic calibration of an H4 parallel mechanism: practical accuracies
Marvel et al. Tools for robotics in sme workcells: challenges and approaches for calibration and registration
Ergur et al. Trajectory planning of industrial robots for 3-D visualization a ROS-based simulation framework
Makomo et al. Real time application for automatic object and 3D position detection and sorting with robotic manipulator
Bredvold Robotic welding of tubes with correction from 3D vision and force control
Jordt et al. An outline for an intelligent system performing peg-in-hole actions with flexible objects
WO2024105847A1 (ja) 制御装置、３次元位置計測システム、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant