CN103209809B - 用于机器视觉系统和机器人之间的稳健校准的系统和方法 - Google Patents
用于机器视觉系统和机器人之间的稳健校准的系统和方法 Download PDFInfo
- Publication number
- CN103209809B CN103209809B CN201180023892.1A CN201180023892A CN103209809B CN 103209809 B CN103209809 B CN 103209809B CN 201180023892 A CN201180023892 A CN 201180023892A CN 103209809 B CN103209809 B CN 103209809B
- Authority
- CN
- China
- Prior art keywords
- robot
- camera
- conversion
- calibration
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39008—Fixed camera detects reference pattern held by end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39022—Transform between measuring and manipulator coordinate system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39045—Camera on end effector detects reference pattern
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/09—Closed loop, sensor feedback controls arm movement
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
提供了用于稳健地校准视觉系统和机器人的系统和方法。该系统和方法使多个相机(105A、105B、105C)能够校准至机器人底座(110)的坐标系,从而使机器视觉/机器人控制系统能够准确地标识机器人底座(110)坐标内感兴趣对象的位置。
Description
技术领域
本发明的说明性实施例涉及校准机器视觉系统,更具体地涉及用于在机器视觉系统和机器人之间校准的系统和方法。
背景技术
关节臂是可准确且反复地在工作空间内将末端执行器移动到指定姿态的可控制机器。如在本文中所使用的,术语“姿态”说明性地指三维位置和三维旋转的组合。机器人姿态说明性地根据机器人的坐标系的对应于末端执行器的姿态。说明性地,末端执行器是能够抓放工件的可控制机器,并且可包括例如机械夹具、真空吸引器、电磁触点等。
一般地,如本文中所使用的,关节臂和末端执行器的组合被称为机器人。可由用于执行操作的机器人访问的三维区域被称为机器人的工作空间。
机器人说明性地用于通过执行预定序列的步骤来执行任务,诸如在工作空间内移动工件。例如,末端执行器可沿着轨迹T1向末端执行器姿态PI移动。然后,末端执行器可在沿着工件T2向末端执行器姿态P2移动之前抓取工件。一旦在姿态P2,末端执行器就可释放工件。使用这些机器人的已知缺点在于,工件必须呈现在已知姿态以使机器人成功地执行该任务。例如,如果工件最初未位于预期姿态,则末端执行器可能无法抓取工件。工件姿态的不准确性是这些机器人系统的公知显著缺点,并且是不选择机器人用于执行拾取、放置、以及组装操作的典型原因。
一种消除工件姿态的不准确性的已知技术是利用传感器首先测量工件姿态并且随后利用该测量工件姿态来调整机器人的轨迹。由于机器视觉通常是快速、便宜、非接触感测模态,因此机器视觉是用于感测工件位置的典型技术。术语“视觉引导的机器人学(VGR)”说明性地指使用机器视觉系统帮助机器人执行任务的过程。
使用机器视觉来测量工件姿态的显著缺点在于,机器视觉系统通常相对于机器视觉系统的坐标系测量工件姿态,而机器人相对于机器人的坐标系移动末端执行器。由此,必须将机器视觉系统计算的工件姿态转换成机器人的坐标系以使机器人利用机器视觉系统计算的工件姿态。术语“手眼校准”说明性地指确定机器视觉系统的坐标系和机器人的坐标系之间的关系的任务。
如本领域技术人员应当理解的,手眼校准的准确性直接影响VGR过程的准确性。如果手眼校准准确地反映了机器视觉系统的坐标系和机器人的坐标系之间的关系,则对工件姿态的准确的机器视觉测量将导致用于拾取、放置、以及组装工件的准确的末端执行器姿态。相应地,如果手眼校准不准确且未反映机器视觉系统的坐标系和机器人的坐标系之间的真实关系,则对工件的准确的机器视觉测量将不一定导致用于拾取、放置、以及组装工件的准确的末端执行器姿态。这些不准确的机器人姿态可导致机器人无法执行预期任务。
Tsai和Lenz开发了一种用于执行手眼校准的公知技术。其技术在IEEE机器人自动化学报第5卷第3期第345-348页的“用于完全自治和有效的3D机器人学手/眼校准(A newtechnique for fully autonomous and efficient 3D robotics hand/eyecalibration)”中进行了描述,其内容通过引用结合于此。Tsai和Lenz的技术说明性地获取一组机器人姿态以及相关联的采集图像。对于每一采集图像,该技术估计相对于校准对象的相机姿态。这产生相对于校准对象的一组机器人姿态和相机的估计姿态。然后,Tsai和Lenz的技术根据一组机器人姿态以及相应估计的相机姿态确定相对于关节臂的相机姿态。在静止的相机环境的示例性情况下,Tsai和Lenz的技术的显著缺点在于,该技术未明确地结合相对于机器人底座存在一个相机姿态且仅存在一个相机姿态而相对于末端执行器存在一个校准对象姿态且仅存在一个校准对象姿态的约束。相反,Tsai和Lenz的技术允许对相机姿态的独立的且由此可能不一致的估计,并且还允许对校准对象姿态的独立的且由此可能不一致的估计。
Tsai和Lenz的技术的另一显著缺点在于,该技术每次只对机器视觉系统中的单个相机执行校准。由此,如果期望对机器视觉系统中的多个相机执行校准,则Tsai和Lenz的技术必须针对每一相机反复地执行。这增加了执行校准所需的时间,并且允许对各个相机的独立的且由此可能不一致的校准。
Tsai和Lenz考虑成对的动作并考虑表达式AiX=XBi,其中Ai表征相机的感知动作而Bi表征末端执行器的相对动作。由此,他们可通过求解X来计算末端执行器和相机之间的变换,这使得多对AXi和XBi之间的总体差异最小化。在2006IEEE/RSJ智能机器人和系统国际会议论文集2008年度第4647-4653页中公布的“最佳手眼校准(Optimal Hand-EyeCalibration)”中,Strobl和Hirzinger论述了考虑表达式AX=ZB来估计末端执行器-相机变换和机器人-校准板变换的手眼校准技术,问题简约到刚性变换的系统:AiX=ZBi,其中Ai表征相机和校准板之间的感知变换,X表征末端执行器-相机变换,Z表征机器人底座-校准板变换,而Bi表征末端执行器姿态(从末端执行器到机器人底座的变换)。这些方法(以及遵循基本技术的所有其他方法)中的两种方法的缺陷在于,其涉及估计两个刚性变换之间的差别(diff(Transform1,Transforms2)),并且不存在测量两个变换之间的差异的可良好理解的、有物理意义的方式。
像Tsai和Lens以及Strobl和Hirzinger描述的方法的另一缺陷在于,仅基于校准板姿态的手眼校准是次优的。这是因为每一计算的相机-校准板姿态在一些方向上比在其他方向上更准确,但是该方向准确性信息未包含在相机-校准板姿态中。可通过考虑校准板的取向通常可比校准板的倾斜估计得更准确来理解相机-校准板姿态在一些方向上比在其他方向上更准确的事实。
发明内容
本发明的说明性实施例通过提供用于在机器视觉系统和机器人之间稳健校准的系统和方法来克服了现有技术的缺点。说明性地,将机器人移动到多个姿态,并且采集诸如校准板之类的校准对象的图像,该校准对象粘附到机器人的末端执行器并包含准确的已知位置处的特征。替换地,将校准对象固定在空间并将相机安装在机器人上,随后将该校准对象移动到多个姿态,在该多个姿态处可采集校准对象的图像。机器视觉系统用于通过测量图像中特征的位置来分析所采集图像。指定的机器人姿态和测量到的图像特征位置用于确定机器视觉系统的坐标系和机器人的坐标系之间的关系。
在示例性静止的相机环境中,本发明的说明性实施例说明性地施加在每一相机和机器人底座坐标系之间存在唯一的六自由度(6DOF)变换的约束,并且明确地施加在机器人末端执行器和校准板之间存在唯一的6DOF变换的约束。应当注意,在本发明的替换实施例中,可利用不同数量的自由度。由此,对6DOF的描述应当只作为示例性的。
除了单独的相机校准以外,本发明的说明性实施例说明性地实现了多个相机到机器人的同时校准以及单独相机校准,由此排除了首先将相机校准到机器人的工作空间并且随后将机器视觉系统校准到机器人的需要。
相机可安装在其视场涵盖机器人的一部分工作场所的空间中,或者可安装在机器人的关节臂和/或末端执行器上。安装在空间中的相机可在本文中称为静止相机,而安装在机器人的关节臂和/或末端执行器上的相机可在本文中称为活动相机。当一个相机静止地安装在空间中时,本发明的说明性实施例计算两个变换:机器人坐标系和相机坐标系之间的变换;以及校准对象的姿态和末端执行器的姿态之间的变换。当多个相机静止地安装在空间中时,本发明的说明性实施例计算机器人坐标系和每一相机坐标系之间的变换、以及校准对象的姿态和末端执行器的姿态之间的变换。应当注意,术语“校准对象”和“校准板”在本文中可互换地使用。相机的坐标系有时被称为相机姿态。校准对象的姿态有时被称为校准对象的坐标系。校准一个或多个相机时的规范校准板的坐标系有时被称为机器视觉系统的坐标系。机器视觉系统的坐标系有时称为机器视觉系统的完全坐标系。末端执行器的姿态有时被称为末端执行器的坐标系。相对于机器人底座的末端执行器姿态有时被称为机器人姿态。机器人的坐标系有时被称为机器人底座的坐标系。注意,本发明可处理可参照不同的规范校准板变换来校准不同相机的状况。换句话说,本发明的说明性实施例可处理其中可参照不同的机器视觉系统坐标系来校准一个或多个相机的状况。这是因为本发明估计每一相机的姿态,并且本发明不一定强加相机相对于机器视觉系统坐标系保持在相同姿态的约束。
当一个相机安装有机器人时,还可计算两个变换:机器人坐标系和校准对象之间的变换;以及相机姿态和末端执行器姿态之间的变换。当利用多个安装有机器人的相机时,本发明计算机器人坐标系和校准对象之间的变换、以及每一相机姿态和末端执行器姿态之间的变换。
注意,机器视觉系统的完全坐标系通常用作占位符,而机器视觉系统的完全坐标系通常没有固有的物理含义。由此,对于单个静止相机,用户可利用本发明计算的手眼校准变换相对于机器人坐标系调整机器视觉系统的完全坐标系(同时使相机和机器视觉系统的完全坐标系之间的变换保持不变)。替换地,对于单个静止相机,用户可利用本发明计算的手眼校准变换调整相机和机器视觉系统的完全坐标系之间的变换(同时使机器视觉系统的完全坐标系和机器人坐标系之间的变换保持不变)。替换地,对于单个活动相机,用户可利用本发明计算的手眼校准变换来相对于末端执行器坐标系调整机器视觉系统的完全坐标系(同时使相机和机器视觉系统的完全坐标系之间的变换保持不变)。替换地,对于单个活动相机,用户可利用本发明计算的手眼校准变换调整相机和机器视觉系统的完全坐标系之间的变换(同时使机器视觉系统的完全坐标系和末端执行器坐标系之间的变换保持不变)。由于相机姿态和机器视觉系统的完全坐标系可以此方式折衷,因此有时涉及对机器视觉的完全坐标系的估计以涉及对相机姿态的估计,并且有时涉及对相机姿态的估计以估计机器视觉的完全坐标系。
附图说明
通过参考以下描述以及附图,可更好地理解本发明的以上优点以及其他优点,在附图中类似的标号指示相同或功能相似的元件:
图1是根据本发明的说明性实施例的其中相机静止地安装在空间中以供在机器视觉系统和机器人之间校准使用的示例性机器视觉机器人环境的示意图;
图2是根据本发明的说明性实施例的其中相机安装在机器人上以供在机器视觉系统和机器人之间校准使用的示例性机器视觉机器人环境的示意图;
图3是根据本发明的说明性实施例的详细描述用于利用固定相机来执行机器人和机器视觉系统之间的校准的过程的步骤的流程图;
图4是根据本发明的说明性实施例的详细描述用于利用安装在机器人上的相机来执行机器人和机器视觉系统之间的校准的过程的步骤的流程图;以及
图5是根据本发明的说明性实施例的机器视觉系统和机器人的示例性控制系统的示意性框图。
具体实施方式
本发明的说明性实施例提供了用于在说明性地施加对于活动相机情况在每一相机和末端执行器之间存在唯一的6DOF(自由度)变换的约束、或者施加对于静止相机情况在每一相机和机器人底座之间存在唯一的6DOF变换时准确地细化手眼校准的系统和方法。应当注意,在本发明的替换实施例中,可利用不同数量的自由度。由此,对6DOF的描述应当只作为示例性的。此外,本发明的说明书实施例说明性地强加对于活动相机情况在机器人坐标系和校准板之间存在唯一的6DOF变换的约束。替换地,对于静止相机情况,本发明的说明性实施例强加在校准板坐标系和末端执行器坐标系之间存在唯一的6DOF变换的约束。说明性地,将机器人移动到指定姿态,并且采集包含准确的已知物理位置处的特征的校准对象的图像。本发明的说明性实施例涉及特征物理位置的准确知识,本发明的替换实施例可使用不准确的已知特征物理位置。校准对象不一定是平面对象(在相同平面上具有所有特征)。替换地,校准对象可以是其中特征出现在多个面上的三维对象,诸如立方体。替换地,校准对象可以是其中特征出现在多个面上的三维框(具有不同的边长度)。替换地,校准对象可以是其中特征出现在一个或两个边上的盘。
替换地,校准对象可以是具有特征的球体。替换地,校准对象可以是具有特征的圆柱体。
然后,机器视觉系统通过测量图像中的特征的位置来分析所采集图像,并且使指定机器人姿态与测量到的图像特征位置相关,以确定机器视觉系统的坐标系和机器人的坐标系之间的关系。对于活动相机情况,本发明的说明性实施例说明性地使用明确地施加在每一相机和末端执行器之间存在唯一的6DOF变换的约束、并且明确地施加在机器人坐标系和校准板之间存在唯一的6DOF变换的约束的分析。替换地,对于静止相机情况,本发明的说明性实施例说明性地使用明确地施加在每一相机和机器人底座之间存在唯一的6DOF变换的约束、并且明确地施加在校准板坐标系和末端执行器坐标系之间存在唯一的6DOF变换的约束的分析。
本发明的说明性实施例涉及使用静止校准板和静止机器人,本发明的替换实施例可涉及使用非静止校准板和/或非静止机器人,从而可采用多个6DOF变换。术语“相机”说明性地指用于测量电磁辐射的感测元件和用于弯曲电磁辐射的透镜的组合。相机感测元件的示例包括CCD传感器、CMOS传感器、以及配套电路以构成说明的二维表示。透镜通常用于将来自场景的电磁辐射聚焦到相机的感测元件上。相机有时称为机器视觉相机。对于手眼校准,相机和透镜通常彼此刚性地粘附以维持一致的观察。
细化技术的一个实施例涉及通过比较变换所映射的点之间的距离考虑这些变换之间的差异。细化技术的一个实施例涉及考虑校准板上的所有物理点pi,以及考虑AXB-1和Z两者所映射的这些点之间的物理空间差异。Z、即机器人底座和校准板之间的变换所映射的每一物理点pi对应于机器人坐标中的pi的物理位置。例如,AXB-1所映射的每一物理点pi也对应于机器人坐标中的pi的物理位置。两个物理点之间的距离是唯一且得到良好理解的。由此,可考虑所有变换所映射的所有点的总差方和∑(AXB-1pi-Zpi)2,并且该公式被良好地定义,并且依赖于测量3D点之间的距离但不依赖于估计刚性变换之间的差异。
使∑(AXB-1pi-Zpi)2最小化的实施例具有其依赖于估计相对于相机的校准板姿态的缺点,但是这些方法是次优的,因为所计算的相机-校准板姿态包含比原始特征数据少的信息。每一计算的相机-校准板姿态通常在一些方向上比在其他方向上更准确,但是该方向准确性信息未包含在相机-校准板姿态中。可通过考虑校准板的取向通常可比校准板的倾斜估计得更准确来理解相机-校准板姿态通常在一些方向上比在其他方向上更准确的事实。
像Tsai和Lenz以及Strobl和Hirzinger所描述的方法的一个显著缺陷在于,它们涉及校准单个相机。由于这些方法未提供同时校准多个相机,因此将独立地校准每一相机。单独地校准每一相机的缺点在于,每一独立的校准可采取不同的校准板姿态,然而已知对于所有相机校准板姿态是一致的。几乎始终通过结合所有相关的物理约束来提高校准准确性。
考虑相关动作的Tsai和Lenz的方法的另一显著缺陷在于,相关动作基于在时间上连续的机器人姿态。因此,机器人姿态的不同的时间排序可导致不同的手眼校准。说明性地,本发明产生与机器人姿态的排序无关的手眼校准。
该细化技术的说明性实施例根据观察到的图像特征位置而不是依赖于所计算的相机-校准板姿态来直接估计手眼校准参数。在细化技术的说明性实施例中,该系统估计3D点到相应相机上的投射,并且将估计的2D位置与测量到的2D位置进行比较。在细化技术的替换实施例中,将与每一相机中的特征位置fi相对应的3D射线ri与校准板上的相应变换点的3D位置进行比较。然后,来自这些单独比较的贡献被收集并以平方和的方式组合,从而估计使差方和最小化的手眼校准参数。在另一替换实施例中,来自单独比较的贡献可按距其对应相机的距离加权,从而3D射线和相应3D点之间的距离近似于图像差异。
对于视觉引导的机器人学,存在安装机器视觉相机的两种基本方式。在第一说明性实施例中,一个或多个机器视觉相机可安装在以下参考图1所描述的静止位置以查看机器人的工作空间。在第二说明性实施例中,一个或多个机器视觉相机可附连到关节臂和/或末端执行器(以使一个或多个相机机器人与机器人一起移动),如以下参考图2所描述的。注意,安装机器视觉相机的这些基本方式都需要使机器视觉测量由机器人最佳地使用的手眼校准。
A.校准环境
图1是根据本发明的说明性实施例的具有机器人的示例性环境100的示意图,该机器人具有粘附到末端执行器的校准板,其中多个相机安装在空间中以用于执行机器视觉至机器人的校准。环境100说明性地包括固定在空间中的多个相机105A、B、C,每一相机的视场为环境100中的至少一部分。每一相机105获取其特定相机坐标系中的视场的图像。尽管示出三个相机105A、B、C,但本发明的原理可利用任意数量的相机。应当注意,在替换实施例中,可利用不同数量的相机。由此,对三个相机的描述应当只作为示例性的。机器人说明性地包括机器人底座110、以及具有位于终端的末端执行器120的关节臂115。说明性地,机器人底座110固定在环境100内。根据本发明的说明性实施例,根据机器人底座110校准相机105的视图。即,机器人底座110用作要在校准中使用的机器人坐标系的原点。如本领域技术人员应当理解的,机器人可执行其末端执行器的重复动作以相对于校准器底座摆姿势。本发明的说明性实施例实现机器视觉系统至机器人底座坐标系的稳健校准。
关节臂115说明性地被示为具有三个分段。然而,应当注意,在替换实施例中,可利用不同数量的分段。由此,对三个分段式的关节臂115的描述应当只作为示例性的。除了关节臂定位末端执行器以外存在许多方式:用于定位末端执行器的替换致动器包括线性级、Stuart(斯图亚特)平台等的组合。此外,末端执行器120可包括本领域已知的任何类型的末端执行器,例如机械、电磁、真空吸引器等。根据本发明的说明性实施例,校准板125粘附到末端执行器120。校准板可包括通常在机器视觉系统中使用的常规校准板。示例性校准板由美国马萨诸塞州的Cognex公司出售。示例性校准板为可从Cognex公司购得的模型No.320-5029R。用于测量特征的替换校准板和方法在美国专利No.6,137,893中进行了描述。用于测量特征的替换校准板和方法在美国专利No.6,816,187中进行了描述。替换校准板和测量特征在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“使用现成TV相机和透镜进行高准确性的3D机器视觉计量的通用相机校准技术(A VersatileCamera Calibration Technique for High-Accuracy 3D Machine Vision MetrologyUsing Off-the-Shelf TV Cameras and Lenses)”中进行了描述,其内容通过引用结合于此。
然而,应当注意,根据本发明的替换实施例,可利用不同类型的校准板。校准板的一个示例可以是显示校准图案的显示屏。校准板的另一示例可以是显示变化的图案的显示屏,从而可采集视频的不同图案的多幅图像且结果的合成可被认为是校准板的单次采集。由此,在以上结合的美国专利申请中描述的校准板应当只作为示例性的。校准板125以在末端执行器的移动期间防止滑动的方式粘附到末端执行器120。如在下文中进一步描述的,将关节臂15和末端执行器120移动到相机105的视场内的多个姿态。应当注意,虽然在本替换状况下,所设置的机器人姿态应当对应于致动器上的适当位置的状态,但是校准板可替换地附连到致动器而非末端执行器上的任何地方。
然后,根据本发明的说明性实施例的示教利用从多个姿态收集的图像数据以生成校准变换。
图2是根据本发明的说明性实施例的用于其中多个相机粘附到机器人的关节臂的机器视觉机器人校准的示例性环境200的示意图。校准板125固定在环境200中。说明性地,根据本发明的说明性实施例,校准板固定成使其在校准过程期间可能不移动。机器人底座110也固定在环境200内。关节臂115连接到机器人底座110,并且末端执行器120位于关节臂115的终端。粘附到关节臂115的末端的有多个相机205A、B。相机205说明性地粘附到关节臂115和/或末端执行器120。相机205被刚性地固定以使其不可独立于关节臂115和/或末端执行器120移动。应当注意,根据本发明的说明性实施例的原理,可利用任意数量的相机205。由此,对所利用的两个相机205A、B的描述应当只作为示例性的。如在下文中参考图4进一步描述的,将关节臂115和/或末端执行器120移动到各个姿态,并且采集校准板125的图像。
应当注意,虽然在本替换状况下,所设置的机器人姿态应当对应于致动器上的适当位置的姿态,但是根据本发明的说明性实施例的原理,相机可替换地附连到致动器而非末端执行器的任一部分。此外,在本替换状况下,不同的相机可附连到致动器的不同部分。根据所采集图像,可获取或计算校准信息以使在下文中参考图5进一步描述的控制系统(未示出)能够根据机器人底座坐标控制机器人。
B.使用固定(静止)相机的校准
说明性地,对于一个或多个静止相机的情况的手眼校准,诸如校准板之类的校准对象刚性地粘附到机器人的关节臂和/或末端执行器,并且将机器人移动到各个姿态以通过一个或多个相机来查看校准对象。校准对象的采集图像结合机器人姿态记录。
对于单个静止相机的情况,通过估计以下两个变换来说明性地执行手眼校准:(1)根据机器视觉系统的完全坐标系的机器人坐标系;以及(2)校准对象的姿态和末端执行器的姿态之间的变换。假设针对外来和固有参数预先校准相机,并且相机校准在手眼校准期间和之后保持恒定。由于相机校准包括相机姿态和机器视觉系统的完全坐标系之间的变换,因此估计机器视觉系统的完全坐标系本质上估计相机的姿态,原因在于相机姿态通过保持恒定的相机校准变换链接到机器视觉系统的完全坐标系。
注意,所采集的用于手眼校准的图像可用于校准相机(即,确定外来和内在的参数),并且以此方式,相机可能无需在使用校准之前校准,因为手眼校准过程可说明性地包括相机校准作为第一步骤。
由于在手眼校准过程期间相机牢固地保持在空间中且机器人底座牢固地保持在适当位置,因此机器人的坐标系应当保持恒定且机器视觉系统的坐标系应当保持恒定。因此,在机器人的坐标系和机器视觉系统的坐标系之间应当只存在一个变换。类似地,由于在手眼校准过程期间校准对象保持牢固地粘附到关节臂和/或末端执行器,因此应当只存在使末端执行器的姿态与校准对象的姿态相关的一个变换。
变换G从机器人的坐标系映射到机器视觉系统的坐标系。变换H从校准对象映射到末端执行器姿态。假设已校准相机使得映射P从机器视觉系统坐标中的3D点映射到所采集图像中的2D点。假设相机校准和相应映射P在手眼校准过程之中和之后保持恒定。变换Ri从末端执行器姿态(在步骤i)映射到机器人坐标系。令项“x(i,u,v,w)”是指与校准对象上的物理坐标(u,v,w)相对应的由图像特征提取器在步骤i观察到的图像特征位置的x坐标。令项“y(i,u,v,w)”是指与校准对象上的物理坐标(u,v,w)相对应的由图像特征提取器在步骤i观察到的图像特征位置的y坐标。因此,(x(i,u,v,w),y(i,u,v,w))是在采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于末端执行器上的3D位置H*(u,v,w)。
末端执行器上的3D位置H*(u,v,w)对应于机器人的坐标系中的3D位置Ri*H*(u,v,w)。机器人的坐标系中的3D位置Ri*H*(u,v,w)对应于机器视觉系统的坐标系中的3D位置G*Ri*H*(u,v,w)。3D位置G*Ri*H*(u,v,w)对应于采集图像中的2D位置P(G*Ri*H*(u,v,w))。采集图像中找到的特征的每一(x(i,u,v,w),y(i,u,v,w))2D位置对应于预期2D位置P(G*Ri*H*(u,v,w))。对于每一找到的2D特征位置,可将找到的2D特征位置与预期2D位置进行比较以产生图像坐标中的差异P(G*Ri*H*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))。所有差方之和∑|P(G*Ri*H*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2是实际测量数据和预期数据之间的组合差异。根据本发明的说明性实施例,通过求解G和H参数来细化手眼校准,这导致实际测量数据和预期数据之间的最小的残差方和。注意,H涉及对机器视觉系统的坐标系和机器人的坐标系之间的变换进行参数化的6个自由度(6DOF)(3个自由度用于平移且3个自由度用于旋转)。注意,G涉及对校准对象所限定的校准物理坐标系和末端执行器坐标系之间的变换进行参数化的6个自由度(6DOF)(3个自由度用于平移且3个自由度用于旋转)。
令Ga,Gb,Gc,Gx,Gy,Gz是指对G的6个变量的参数化,而Ha,Hb,Hc,Hx,Hy,Hz是指对H的6个变量的参数化。令E(Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz|测量到的图像特征位置以及相应校准位置和相应机器人姿态)是指差方和函数,该差方和函数取决于12个变量Ga,Gb,Gc,Gx,Gy,Gz和Ha,Hb,Hc,Hx,Hy,Hz以及测量到的图像特征位置及相应校准位置和相应机器人姿态。可基于对来自|P(G*Ri*H*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2的各个贡献迭代地求和在数值上计算E。
在说明性实施例中,首先使用Tsai和Lenz方法的变体来粗略地估计手眼校准参数。国际机器人研究期刊第18卷、第3号、第286-298页公布的Daniiliidis的“使用双四元法的手眼校准(Hand Eye Calibration Using Dual Quaternions)”中描述的技术说明性地用于粗略地估计手眼校准参数,其内容通过引用结合于此。在替换实施例中,用户可手动地输入对手眼校准参数的粗略估计。在其他替换实施例中,计算机程序可枚举手眼校准参数的多个粗略估计,并且细化这些枚举的粗略估计中的每一个且选择包括导致最低残差的细化手眼校准参数。
说明性地,本发明的说明性实施例通过使用梯度下降技术来细化参数值,从而找到使E最小化的参数值。对G和H的3D旋转的参数化利用与手眼校准相对应的变换的粗略估计。
四元法是对3D旋转的空间进行参数化的公知的有效方法,但是四元法遭受其涉及4个参数s0、sl、s2、s3的事实。幸运的是,根据投影坐标系定义四元法,以使缩放所有4个值r*s0、r*sl、r*s2、r*s3不影响3D旋转。因此,可定义1个变量固定的坐标表示,其中四元值之一固定在1或-1而其他三元坐标对应于3个参数。此参数化是有效的,因为从粗略估计中知晓适当的3D旋转且由此可合适地挑选哪一个四元坐标固定为1或-1。
具体而言,Levenberg-Marquadt优化技术说明性地用于执行梯度下降以通过使用误差函数的偏导在局部极值将为0,并且Levenberg-Marquadt技术在数值上求解方程组的联立解的事实来找到全局最小值,在此情况下该方程组是一组偏导:dE/dGa、dE/dGb、dE/dGc、dE/dGx、dE/dGy、dE/dGz、dE/dHa、dE/dHb、dE/dHc、dE/dHx、dE/dHy、dE/dHz。注意,由于E()是Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz的函数,因此其所有偏导可以是Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz的函数。
为了使用Levenberg-Marquadt技术,E的偏导需要在任意参数值处计算。令术语“矢量J”是指对参数值的任意选择。针对每一独立变量,可通过计算在配置J计算的E和在对称地围绕配置J且只在变量之一中略微不同的附近配置计算的E之间的差值,并且随后除以对称配置处的变量值之间的差值来在数值上估计E的一阶偏导。例如,可在配置J通过计算E值的差值和变量的差值之间的比率来计算E相对于Gc的偏导:(E(GaJ,GbJ,GcJ+δ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ)-E(GaJ,GbJ,GcJ-δ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ))/(2δ)。说明性地,利用δ的10∧-4的值,但是其他实施例可使用δ的不同值。在替换实施例中,可在配置J通过使用诸如计算E值的差值和变量的差值之间的比率之类的非对称样本配置来计算E相对于变量的偏导:(E(GaJ,GbJ,GcJ+δ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ)-E(GaJ,GbJ,GcJ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ))/δ。
替换实施例可通过设定误差函数E的分析表达式并且随后计算符号导数来分析地计算E相对于变量的偏导。符号计算的导数可能比数值计算的导数更准确,并且可能同样不需要用户挑选用于计算数值导数的步长。首先,公式化通用代数误差函数以表征一个2D图像特征位置和相应3D校准特征位置之间的误差以及机器人姿态作为未知参数的多变量代数表达式。
在内部,Levenberg-Marquadt优化方法涉及要优化的方程组的偏导。方程组是误差函数的偏导,从而Levenberg-Marquadt技术使用的偏导是E函数的二阶偏导。可通过在数值上计算dE/dvar偏导的差值(在变量之一中分离开一小量)和该小量之间的比率来相对于两个变量在数值上估计二阶偏导。例如,可在配置J通过计算(dE/dvar(GaJ,GbJ,GcJ+ε,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ)-dE/dvar(GaJ,GbJ,GcJ,GxJ,GyJ,GzJ,HaJ,HbJ,HcJ,HxJ,HyJ,HzJ))/ε来计算E相对于Gc的二阶偏导。在替换实施例中,利用100次迭代的最大值,对于Levenberg-Marquadt优化,10∧-4的值用于ε、10∧-2的值用于λ、而10∧-6的值用于δ。变量λ通常用于指Levenberg-Marquadt方法的阻尼因数。
注意,该手眼校准方法明确地施加在每一相机和末端执行器之间存在唯一的6DOF变换的约束,并且同时强加在机器人坐标系和校准对象所限定的物理坐标系之间存在唯一的6DOF变换的约束。这是因为该手眼校准方法对每一相机和末端执行器之间的6DOF变换以及机器人坐标系和校准板之间的6DOF变换进行参数化。由于这些约束准确地反映了实际物理系统,因此与不施加这些约束的手眼校准方法相比,在手眼校准方法中施加这些约束产生更准确的手眼校准模型。
本发明实施例的另一方面涉及同时校准相对于末端执行器的多个相机的姿态和校准对象的姿态。在本发明的该方面中,对于每一相机,使用6个参数来对每一相机的姿态单独地进行参数化。由此,用于手眼校准n个相机的整个系统涉及6*n+6个参数,其中6*n个参数用于n个相机而6个参数用于相对于末端执行器的校准对象的姿态。通过对于每一相机考虑不同的机器视觉坐标系,可对多个相机执行手眼校准。这是合理的,因为对于每一相机采取一指定相机校准,并且机器视觉坐标系的略微不同的姿态等同于该相机的相机校准所指定的每一相机的略微不同的姿态。此外,表征对于每一相机的不同机器视觉坐标系的该方法容易地结合到用于细化手眼校准的框架中。如与用于表征单个相机的手眼校准的12个参数Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz相比,手眼校准使用6*(n+l)个参数Gla,Glb,Glc,Glx,Gly,Glz,G2a,G2b,G2c,G2x,G2y,G2z,…Gna,Gnb,Gnc,Gnx,Gny,Gnz和Ha,Hb,Hc,Hx,Hy,Hz来表征手眼校准。
为了对具有多个相机的系统执行手眼校准,令(xk(i,u,v,w),yk(i,u,v,w))为与相机k相对应的采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于末端执行器上的3D位置H*(u,v,w)。末端执行器上的3D位置H*(u,v,w)对应于机器人的坐标系中的3D位置Ri*H*(u,v,w)。机器人的坐标系中的3D位置Ri*H*(u,v,w)对应于相机k的机器视觉系统的坐标系中的3D位置Gk*Ri*H*(u,v,w)。3D位置Gk*Ri*H*(u,v,w)对应于相机k的采集图像中的2D位置Pk(Gk*Ri*H*(u,v,w))。采集图像中找到的特征的每一(x(i,u,v,w),y(i,u,v,w))2D位置对应于预期2D位置Pk(Gk*Ri*H*(u,v,w))。对于每一找到的2D特征位置,可将找到的2D特征位置与预期2D位置进行比较以产生差异Pk(Gk*Ri*H*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))。该差异的平方为∑|Pk(Gk*Ri*H*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2。所有这些差方之和为∑|Pk(Gk*Ri*H*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2。
在替换实施例中,图像的采集和校准对象的定位被排列成限定机器视觉坐标系的校准对象姿态将用于采集图像之一用于手眼校准。说明性地,这通过将采集用于手眼校准的图像用作用于相机校准的图像来实现,其中用于手眼校准的图像之一是用于限定用于相机校准的机器视觉坐标系的图像。替换地,这通过首先采集用于手眼校准的图像并且随后将校准对象保留在相同姿态中、以及将用于相机校准的首先采集的图像用作用于限定机器视觉坐标系的图像来实现。
图3是根据本发明的说明性实施例的详细描述用于利用固定相机执行机器视觉到机器人校准的示例性过程300的步骤的流程图。过程300在步骤305开始并继续至步骤310,其中将一个或多个相机固定在空间中。如以上所提及的,本发明的说明性实施例可同时校准多个相机。说明性地,将用于校准的相机固定在其中将以使其不可能移动的方式利用它们的环境中。在步骤315,将校准板固定到关节臂的末端执行器。在替换实施例中,校准板可粘附到关节臂的分段之一而非末端执行器。由此,对固定到末端执行器的校准板的描述应当只作为示例性的。
然后,在步骤320,将末端执行器移动到多个姿态,并且获取多个姿态中的每一个中的校准板的图像。说明性地,这些姿态中的动作包括围绕至少两个非平行轴的旋转。
此外,为了获取更好的校准信息,旋转角应当为至少5°。这不是严格的要求;然而,可通过更大的旋转或者各个姿态之间的移动来获取经改进的结果。
然后,在步骤325,对所获取图像执行图像特征提取技术以提取校准板上的特征。说明性地,特征提取步骤利用诸如Cognex公司出售的技术作为其特征检测器。用于测量特征的替换方法在美国专利No.6,137,893中进行了描述。用于测量特征的替换方法在美国专利No.6,816,187中进行了描述。用于测量特征的替换方法在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“使用现成TV相机和透镜的用于高准确性的3D机器视觉计量的通用相机校准技术(A Versatile Camera Calibration Technique forHigh-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras andLenses)”中进行了描述。然而,应当注意,在替换实施例中,可利用不同的特征提取技术。由此,对利用在以上结合的美国专利中描述的技术的描述应当只作为示例性的。此外,在本发明的替换实施例中,特征提取可利用不同的技术,包括例如使用来自三维相机、取景(range)相机、一起工作的结构化照明和相机的组合来提供三维信息、使用热敏相机的热特征检测等。例如,可利用其中两个或更多个相机查看校准板并测量每一特征的3D位置的立体相机系统。
替换地,结合多个不同光学路径(诸如,不一致的透镜、反射镜、或者全息透镜元件)使用的单个感测元件可被认为是多个单独的相机。替换地,共享相同光学路径的多个感测元件可被认为是单个相机。
由此,对使用常规机器视觉系统的特征检测的描述应当只作为示例性的。
然后,在步骤330,针对每一相机计算校准板姿态(相对于每一相机的校准板的姿态)。即,通过利用一组内在数据以及已知特征位置与观察到的特征位置之间的对应关系,相对于校准板计算相机的姿态。该步骤假设已预先校准了相机的内在参数。然而,在替换实施例中,可使用所收集数据来校准相机,由此排除了首先校准相机并且随后执行机器视觉系统和机器人之间的校准的两步骤过程。可使用在美国专利No.6,816,187中描述的这些公知技术来执行相机校准。替换地,可通过在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“使用现成TV相机和透镜的用于高准确性的3D机器视觉计量的通用相机校准技术(A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses)”中描述的技术来执行相机校准。应当注意,在本发明的替换实施例中,可利用不同形式的相机校准。由此,对利用在以上结合的美国专利申请的相机校准的描述应当只作为示例性的。
然后,在步骤335,预处理所获取的图像连同其相应机器人姿态。该预处理说明性地记录了板和机器人的动作。然后,对每一对图像和机器人姿态重新排序以使动作最大化。通过在步骤330用预先校准的相机参数计算的每一板姿态,计算每两个板姿态之间的动作。类似地,计算两个机器人姿态之间的动作。然后,计算所有成对的板动作和机器人动作,并且其差异相差预定阈值的那些对说明性地被视为离群值(outlier)且从动作对中去除。
对于一对机器人动作和校准板动作,如果表示使用围绕单个轴的等效旋转的其旋转、或者表示使用螺旋动作的动作,则旋转角在理想状况下应当相等。因此,来自同一对的机器人动作和校准板动作之间的旋转角的差值可用作该差异。重新排序使系统能够从具有任意次序的姿态中导出一致的动作,并且使用具有相当多的旋转的动作,这导致更稳定、准确且稳健的校准确定。
然后,在步骤340,校准系统对线性系统求解以标识机器人底座坐标中的变换。如上所述,这说明性地利用Tsai和Lenz技术的变体。应当注意,在本发明的替换实施例中,步骤330-340可以是任选的。
在替换实施例中,在步骤342,获取对相机-机器人变换以及末端执行器-校准板变换的初始估计。然后,在步骤345细化这些变换。该细化基于使预期2D图像特征位置和以上所提及的找到的特征位置之间的所有差方和最小化。替换地,首先可通过使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化的独立细化来细化对从末端执行器到校准板的变换以及从每一相机到机器人底座系统的变换的初始估计。然后,可将细化的变换馈送到基于2D特征位置差异的细化。替换地,如果参照指定的检查度量细化的结果未提供比未细化结果好的结果,则可在细化之后添加检查步骤以忽视细化的结果。
变换一致性细化(使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化)还同时对多个相机(即,对多个固定的相机)细化,从校准板相比到机器人末端执行器的坐标系只有一个变换。
变换一致性细化的示例如下。令Z表示从相机坐标系到机器人底座坐标系的变换。令X表示从校准板系统到机器人的末端执行器的坐标系的变换。Bi是在站点i的机器人姿态(从机器人的末端执行器的坐标系到机器人底座坐标系的变换)。Ai是在站点i的一个相机的校准板姿态(从校准板坐标系到相机坐标系的变换)。变换Ai有时被称为测量到的变换。合成Z_inverse*Bi*X有时被称为预测的变换。以下合成应当为恒等(identity)变换(因为其从校准板坐标系变换到校准板坐标系)。
Ai_inverse*Z_inverse*Bi*X
细化的目标是使每一Ai_inverse*Z_inverse*Bi*X之间的总体差异以及所有相机和移动的恒等变换最小化。
在手眼校准应用中,计算两个变换(或者两个姿态)之间的差别的说明性方式基于使用如下的工作空间维度。假设可通过边界框来表示机器人-视觉应用的工作体积,随后可通过比较该边界框的八个映射顶点vl至v8的位置来测量变换X1和变换X2之间的差别:
∑(X1*vi-X2*vi)
i=l-8
说明性步骤是使用来自变换一致性细化的经细化变换并将其馈送到基于图像特征的细化中。它提供了好得多的初始估计并可基于使用图像特征加速细化的收敛,并且避免变成在局部最小值中捕获。
如与细化之前的均方根(rms)差异相比,检查度量的一个示例是在细化之后计算的图像坐标的均方根(rms)差异。在一些情况下,机器人动作可能没有视觉系统准确,并且细化可能基于不准确的机器人姿态过拟合(overfit)相机-末端执行器变换和机器人底座-校准板变换。通过比较在细化之前和之后的残差,可确定是否想要接受来自细化的结果。
用于确定细化是否为改进的另一方法是将在细化之后计算的图像坐标的均方根(rms)差异与相机校准的图像坐标的均方根(rms)差异进行比较。通过将细化之后的残差与关联于相机校准的残差进行比较,可确定是否想要接受来自细化的结果。
然后,在步骤350,通过变换来配置相机/机器视觉系统。根据机器人底座坐标系,相机/机器视觉系统配置使系统能够报告机器视觉系统查看到的位置。然后,在步骤355,过程300完成。
C.使用活动(安装有机器人)相机的校准
在说明性实施例中,相机粘附到关节臂以根据末端执行器变换。将校准对象定位成由相机查看,并且将机器人臂/末端执行器移动到各个姿态以使校准对象由一个或多个相机查看。校准对象的采集图像结合机器人姿态记录。
类似于用于单个静止相机的手眼校准方法,用于单个活动相机手眼校准通过计算以下两个变换来执行:(1)机器人的坐标系和校准对象所限定的物理坐标系之间的变换;以及(2)相机的机器视觉坐标系和末端执行器的姿态之间的变换。由于在手眼校准过程期间机器人底座和校准对象保持静止,因此在机器人的坐标系和校准对象之间应当只存在一个变换。类似地,由于在手眼校准过程期间相机相对于末端执行器保持牢固地定位,因此应当只存在使末端执行器的姿态与相机的姿态相关的一个变换。
再一次,类似于用于静止相机的手眼校准方法,用于活动相机的手眼校准可使用所有手眼校准图像来执行相机校准,从而相机在手眼校准之前不需要预先校准。变换G从机器人的坐标系映射到校准对象的坐标系。变换G∧-1从校准对象的坐标系映射到机器人的坐标系。变换H从相机的机器视觉坐标系映射到末端执行器姿态。变换H∧-1从末端执行器姿态映射到相机的机器视觉坐标系。假设已校准相机使得映射P从机器视觉系统坐标中的3D点映射到采集图像中的2D点。假设相机校准(内在和外来的参数)以及相应映射P在手眼校准过程之中和之后保持恒定。令项Ri指从末端执行器姿态(在步骤i)映射到机器人坐标系的变换。令项Ri∧-1指从末端执行器姿态(在步骤i)映射到机器人坐标系的变换。令项“x(i,u,v,w)”指与校准对象上的物理坐标(u,v,w)相对应的在步骤i的图像特征位置的x坐标。令项“y(i,u,v,w)”指与校准对象上的物理坐标(u,v,w)相对应的在步骤i的图像特征位置的y坐标。每一(x(i,u,v,w),y(i,u,v,w))是在采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于机器人坐标系中的3D位置G∧-l*(u,v,w)。机器人坐标系中的3D位置G∧-l*(u,v,w)对应于末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)。末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)对应于相机的机器视觉系统的坐标系中的3D位置H∧-l*Ri∧-l*G∧-l*(u,v,w)。3D位置H∧-l*Ri∧-l*G∧-l*(u,v,w)对应于采集图像中的2D位置P(H∧-1*Ri∧-1*G∧-1*(u,v,w))。采集图像中找到的特征的每一(x(i,u,v,w),y(i,u,v,w))2D位置对应于预期2D位置P(H∧-1*Ri∧-l*G∧-1*(u,v,w))。对于每一找到的2D特征位置,将找到的2D特征位置与预期2D位置进行比较以产生差异P(H∧-l*Ri∧-l*G∧-l*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))。该差异的距离平方为|P(H∧-l*Ri∧-l*G∧-l*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2。所有这些差方之和为∑|P(H∧-l*Ri∧-l*G∧-l*(u,v,w))-(x(i,u,v,w),y(i,u,v,w))|2并对应于图像坐标中的实际测量数据和预期数据之间的组合差异。
说明性地,通过求解G和H参数来计算手眼校准,这导致实际测量数据和预期数据之间的最小残差方和。求解使实际测量数据和预期数据之间的残差方和最小化的G和H的参数值。
用于活动相机(即,安装在机器人上的相机)的手眼校准方法类似于用于静止相机的手眼校准方法。与用于单个静止相机的手眼校准方法一样,用于安装有单个相机的手眼校准方法同样根据12个变量Ga,Gb,Gc、Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz对系统进行参数化,并且首先计算手眼校准的粗略估计且随后使用诸如梯度下降之类的优化方法来细化参数估计。与用于单个静止相机的手眼校准方法一样,用于单个活动相机的手眼校准方法同样计算误差函数E(Ga,Gb,Gc,Gx,Gy,Gz,Ha,Hb,Hc,Hx,Hy,Hz),这表征实际测量特征位置和预测特征位置之间的差方和,并且使用诸如梯度下降之类的优化方法来细化参数。与用于单个静止相机的手眼校准方法一样,用于单个活动相机的手眼校准方法的说明性实施例同样对其中在数值上计算其偏导的误差函数的偏导系使用Levenberg-Marquadt。
与用于多个静止相机的手眼校准方法一样,用于多个活动相机的手眼校准方法的说明性实施例同样通过将变体的机器视觉系统坐标系与每一相机相关联以及使用6n+6个参数Ga,Gb,Gc,Gx,Gy,Gz,Hla,Hlb,Hlc,Hlx,Hly,Hlz,H2a,H2b,H2c,H2x,H2y,H2z,...Hna,Hnb,Hnc,Hnx,Hny,Hnz来处理多个相机,以表征手眼校准(虽然在此情况下只存在一个G变换和n个H变换)。
与用于多个静止相机的手眼校准方法一样,用于多个活动相机的手眼校准方法的说明性实施例同样令(xk(i,u,v,w),yk(i,u,v,w))指相机k的采集图像中找到的特征的2D位置。采集图像中的该2D位置对应于校准对象上的3D位置(u,v,w)。校准对象上的3D位置(u,v,w)对应于机器人坐标系中的3D位置G∧-l*(u,v,w)。机器人坐标系中的3D位置G∧-l*(u,v,w)对应于末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)。末端执行器的坐标系中的3D位置Ri∧-l*G∧-l*(u,v,w)对应于相机k的机器视觉系统中的3D位置H∧-l*Ri∧-l*G∧-l*(u,v,w)。3D位置Hk∧-l*Ri∧-l*G∧-l*(u,v,w)对应于相机k的采集图像中的2D位置Pk(Hk∧-1*Ri∧-1*G∧-1*(u,v,w))。采集图像中找到的特征的每一(xk(i,u,v,w),yk(i,u,v,w))2D位置对应于预期2D位置Pk(Hk∧-1*Ri∧-l*G∧-1*(u,v,w))。对于每一找到的2D特征位置,将找到的2D特征位置与预期2D位置进行比较以产生图像坐标的差异Pk(Hk∧-l*Ri∧-l*G∧-l*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))。该差异的距离平方为|Pk(Hk∧-l*Ri∧-l*G∧-l*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2。所有这些差方之和为∑|Pk(Hk∧-l*Ri∧-l*G∧-l*(u,v,w))-(xk(i,u,v,w),yk(i,u,v,w))|2并对应于实际测量数据和预期数据之间的组合差异。通过求解G和H1...Hn参数来说明性地计算手眼校准,这导致实际测量数据和预期数据之间的最小残差方和。求解使实际测量数据和预期数据之间的残差方和最小化的G和H1...Hn的参数值。
图4是根据本发明的说明性实施例的详细描述用于利用粘附到机器人的相机执行机器人视觉到机器人校准的示例性过程400的步骤的流程图。过程400在步骤405开始并继续至步骤410,其中将一个或多个相机固定到机器人。如以上所提及的,本发明的说明性实施例可同时校准多个相机。说明性地,将用于校准的相机固定到机器人的关节臂和/或末端执行器。在步骤415,将校准板固定在空间中。说明性地,校准板固定成使其将在校准过程期间不移动。然后,在步骤420,将末端执行器移动到多个姿态,并且获取多个姿态中的每一个中的校准板的图像。说明性地,这些姿态之间的移动包括围绕至少两个非平行轴的旋转。为了获取更好的校准信息,旋转角应当为至少5°。这不是严格的要求;然而,可通过移动中的更大旋转来获取经改进的结果。
在步骤425,对所获取图像执行图像检测技术以检测校准板上的特征。如上所述,特征检测可利用诸如Cognex公司出售的技术作为其特征检测器。用于测量特征的替换方法在美国专利No.6,137,893中进行了描述。用于测量特征的替换方法在美国专利No.6,816,187中进行了描述。用于测量特征的替换方法在IEEE机器人和自动化期刊、第RA-3卷、第4号、第323-344页的Roger Y.Tsai的“用于使用现成TV相机和透镜进行高准确性的3D机器视觉计量的通用相机校准技术(A Versatile Camera Calibration Technique for High-Accuracy3D Machine Vision Metrology Using Off-the-Shelf TV Cameras andLenses)”中进行了描述。此外,如以上所提及的,在本发明的替换实施例中,特征提取可利用不同的技术,包括例如使用来自三维相机的三维特征、使用热敏相机的热特征检测等。
然后,在步骤430,针对每一相机计算校准板姿态。即,通过利用一组内在数据以及已知特征位置与观察到的特征位置之间的对应关系,参照校准板计算相机的姿态。该步骤假设已预先校准了相机。然而,在替换实施例中,可使用所收集数据来校准相机,由此排除了首先校准相机并且随后执行机器视觉系统和机器人之间的校准的两步骤过程。然后,在步骤435,预处理所获取的图像以及其相应机器人姿态。该预处理说明性地记录了每一板和机器人的动作。然后,对每一对图像和机器人姿态重新排序以使动作最大化。通过在步骤430用预先校准的相机参数计算每一相机姿态,计算每两个相机姿态之间的动作。类似地,计算两个机器人姿态之间的动作。然后,计算所有成对的相机动作和机器人动作,并且其差异相差预定阈值的那些对被视为离群值且从动作对中去除。
对于一对机器人动作和相机动作,如果使用围绕单个轴的等效旋转表示其旋转、或者使用螺旋动作表示动作,则旋转角在理想状况下应当相等。因此,来自同一对的机器人动作和相机动作之间的旋转角的差值可用作该差异。
重新排序使系统能够从具有任意次序的姿态中导出一致的动作,并且使用基于相当多的旋转的动作,这导致更稳定、准确且稳健的校准确定。
应当注意,在替换实施例中,步骤430-440可以是任选的。然后,在步骤440,校准系统对线性系统求解以计算机器人底座坐标中的变换。在替换实施例中,在步骤442,获取对相机-机器人变换以及末端执行器-校准板变换的初始估计。然后,在步骤445细化这些变换。该细化基于使预期2D图像特征位置和以上所提及的找到的特征位置之间的所有差方之和最小化。替换地,首先可通过使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化的独立细化来细化对从末端执行器到相机的变换以及从板到机器人底座系统的变换的初始估计。然后,可将细化的变换馈送到基于2D特征位置差异的细化。替换地,如果相对于指定的检查度量细化的结果未提供比未细化结果好的结果,则可在细化之后添加指定检查步骤以忽视细化的结果。
变换一致性细化(使用这些变换使报告的机器人姿态和计算的机器人姿态中的差异最小化)同时细化多个相机的位置。换句话说,对于多个活动相机情况,从校准板坐标系到机器人底座坐标系只有一个变换。
变换一致性细化的示例如下。令Z指从校准板坐标到机器人底座坐标的变换,X指从相机坐标系到机器人的末端执行器的坐标系的变换。Bi是在站点i的机器人姿态(从机器人的末端执行器的坐标系到机器人底座坐标系的变换)。Ai是在站点i的一个相机的校准板姿态(从校准板坐标系到相机坐标系的变换)。变换Ai有时被称为测量到的变换。以下合成应当为恒等(identity)变换(因为它是从校准板坐标系到校准板坐标系的变换的合成)。
Z_inverse*Bi*X*Ai
细化的目标是使每一Z_inverse*Bi*X之间的总体差异以及所有相机和移动的恒等变换最小化。合成(Z_inverse*Bi*X)有时被称为预测的变换。
在手眼校准应用中,计算两个变换(或者两个姿态)之间的差别的说明性方式基于使用如下的工作空间维度。假设可通过边界框来表示机器人-视觉应用的工作体积,随后可通过考虑这些变换所映射的点(具体而言,边界框的八个顶点v1至v8)之间的距离来计算变换X1和X2之间的差别:
∑(X1*vi-X2*vi)
i=l-8
说明性步骤是在进一步细化相机-末端执行器变换以及机器人底座-校准板变换之前使用基于图像特征的细化来细化这些变换。最初通过使用所映射的点之间的差异的度量来细化这些变换提供了对基于图像特征的细化的好得多的初始估计,并且可加速手眼校准并还使其更稳健。
如与细化之前的均方根(rms)差异相比,检查度量的一个示例是在细化之后计算的图像坐标的均方根(rms)差异。在一些情况下,机器人动作可能没有视觉系统准确,并且细化可基于不准确的机器人姿态过拟合相机-末端执行器变换和机器人底座-校准板变换。通过比较在细化之前和之后的残差,可确定是否想要接受来自细化的结果。
用于确定细化是否为改进的另一方法是将在细化之后计算的图像坐标的均方根(rms)差异与相机校准的图像坐标的均方根(rms)差异进行比较。通过将细化之后的残差与关联于相机校准的残差进行比较,可确定是否想要接受来自细化的结果。
然后,在步骤450,通过变换来配置相机/机器视觉系统。然后,在步骤455,过程400完成。
D.控制机构
图5是根据本发明的说明性实施例的示出机器视觉系统和机器人的控制机构的示例性环境500的示意性框图。机器人底座110可操作地与在其终端具有末端执行器120的关节臂115互连。说明性地,机器人可操作地与机器人控制系统505互连。说明性地,机器人控制系统500包括处理器515、一组输入/输出适配器520、以及存储器525。用于控制机器人控制系统505和机器人的软件530存储在存储器525内。说明性地,机器人控制系统505可以不同的格式植入,这些格式包括例如使用可编程只读存储器(PROM)、非易失性随机存取存储器(NVRAM)等。由此,对机器人控制系统505的部件的描述应当仅作为示例性的。此外,应当注意,在替换实施例中,机器人控制系统505可硬接线而无需软件等。
同样,在环境500内包括相机105A、B。应当注意,在环境500中,相机105被示为固定在空间中;然而,在替换实施例中,相机可安装到机器人的关节臂115和/或末端执行器120。由此,对固定在空间中的相机105的描述应当只作为示例性的。相机105可操作地与机器视觉系统510互连。机器视觉系统510说明性地包括处理器535、输入/输出适配器540、以及存储器545。存储器545说明性地包括根据本发明的说明书实施例实现新校准技术的软件550。再一次,如以上参考机器人控制系统505所提及的,机器视觉系统510可包括替换部件,或者可包括附加和/或不同的部件。由此,此处所包含的描述应当只作为示例性的。
以上内容是对本发明的说明性实施例的详细描述。可作出各个版本中的各种修改而不背离本发明的精神和范围。另外,尽管本说明书根据在硬件上执行的软件进行书写,但是可明确地构想本发明的示教可被实现为软件,包括具有程序指令且在计算机、硬件、固件、或者其组合上执行的计算机可读介质。因此,本说明书应当只作为示例,并且不以其他方式限制本发明的范围。
Claims (36)
1.一种用于确定机器视觉系统和机器人之间的校准的方法,所述方法包括:
利用固定在空间中的相机,获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时固定到所述机器人的执行器的校准对象的多个图像,所述校准对象包括至少2个对象特征,所述至少2个对象特征彼此相对以固定、已知的距离被定位,所述机器人具有机器人坐标系,所述相机具有相机坐标系,所述执行器具有执行器坐标系,所述校准对象具有对象坐标系;
标识所述相机坐标系与所述机器人坐标系之间的相机-机器人变换;
标识所述对象坐标系与所述执行器坐标系之间的对象-执行器变换;
对所述多个图像的每一个中的至少2个图像特征定位,所述至少2个图像特征对应于所述至少2个对象特征;
利用所述固定已知的距离、所述多个不同姿态、所述相机-机器人变换和所述对象-执行器变换,计算针对所述多个图像的每一个的至少2个预测图像特征,所述至少2个预测图像特征对应于所述至少2个对象特征;
通过改变所述相机-机器人变换或者所述对象-执行器变换,使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化,由此产生优化的变换;以及
使用所优化的变换来校准所述机器视觉系统和所述机器人。
2.如权利要求1所述的方法,其特征在于,所述校准对象包括校准板。
3.如权利要求1所述的方法,其特征在于,所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。
4.如权利要求3所述的方法,其特征在于,所述旋转包括至少五度的旋转。
5.如权利要求1所述的方法,其特征在于,还包括预处理一组所获取图像以去除离群值,其中所述预处理还包括:
确定一组离群值;
响应于确定一组离群值,从所述一组所获取图像消除具有所述离群值的一幅或多幅图像以产生缩减的一组获取图像;以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
6.如权利要求5所述的方法,其特征在于,所述合适的动作包括所述缩减的一组获取图像中的特定对之间的改变。
7.如权利要求1所述的方法,其特征在于,所述变换准许六个自由度。
8.一种用于确定机器视觉系统和机器人之间的校准的方法,所述方法包括:
利用固定到所述机器人的执行器上的相机,获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时,固定在空间的校准对象的多个图像,以及所述校准对象包括至少2个对象特征,所述至少2个对象特征彼此相对以固定、已知的距离被定位,所述机器人具有机器人坐标系,所述相机具有相机坐标系,所述执行器具有执行器坐标系,所述校准对象具有对象坐标系;
标识所述对象坐标系与所述机器人坐标系之间的对象-机器人变换;
标识所述相机坐标系与所述执行器坐标系之间的相机-执行器变换;
对所述多个图像的每一个中的至少2个图像特征定位,所述至少2个图像特征对应于所述至少2个对象特征;
利用所述固定已知的距离、所述多个不同姿态、所述对象-机器人变换和所述相机-执行器变换,计算针对所述多个图像的每一个的至少2个预测图像特征,所述至少2个预测图像特征对应于所述至少2个对象特征;
通过改变所述对象-机器人变换或者所述相机-执行器变换,使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化,由此产生优化的变换;以及
使用所优化的变换来校准所述机器视觉系统和所述机器人。
9.如权利要求8所述的方法,其特征在于,所述校准对象包括校准板。
10.如权利要求8所述的方法,其特征在于,所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。
11.如权利要求10所述的方法,其特征在于,所述旋转包括至少五度的旋转。
12.如权利要求8所述的方法,其特征在于,还包括预处理一组所获取图像以去除离群值,其中所述预处理还包括:
确定一组离群值;
响应于确定一组离群值,从所述一组所获取图像消除具有所述离群值的一幅或多幅图像以产生缩减的一组获取图像;以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
13.如权利要求12所述的方法,其特征在于,所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。
14.如权利要求8所述的方法,其特征在于,所述变换准许六个自由度。
15.一种用于确定机器视觉系统和机器人之间的校准的方法,所述方法包括:
利用固定在空间中的主要相机和次要相机,获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时,固定到所述机器人的执行器的校准对象的多个图像,所述校准对象包括至少2个对象特征,所述至少2个对象特征彼此相对以固定、已知的距离被定位,所述机器人具有机器人坐标系,所述主要相机具有主要相机坐标系,所述次要相机具有次要相机坐标系,所述执行器具有执行器坐标系,所述校准对象具有对象坐标系;
标识所述主要和次要相机坐标系每一个与所述机器人坐标系之间的相机-机器人变换;以及
标识所述对象坐标系与所述执行器坐标系之间的对象-执行器变换;
对所述多个图像的每一个中的至少2个图像特征定位;所述至少2个图像特征对应于所述至少2个对象特征;
利用所述固定已知的距离、所述多个不同姿态、所述相机-机器人变换、以及所述对象-执行器变换,计算针对所述多个图像的每一个的至少2个预测图像特征,所述至少2个预测图像特征对应于所述至少2个对象特征;
通过改变所述相机-机器人变换和所述对象-执行器变换,使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化,由此产生优化的变换;以及
使用所优化的变换来校准所述机器视觉系统和所述机器人。
16.如权利要求15所述的方法,其特征在于,所述校准对象包括校准板。
17.如权利要求15所述的方法,其特征在于,所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。
18.如权利要求17所述的方法,其特征在于,所述旋转包括至少五度的旋转。
19.如权利要求15所述的方法,其特征在于,还包括预处理一组所获取图像以去除离群值,其中所述预处理还包括:
确定一组离群值;
响应于确定一组离群值,从所述一组所获取图像消除具有所述离群值的一幅或多幅图像以产生缩减的一组获取图像;以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
20.如权利要求19所述的方法,其特征在于,所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。
21.如权利要求15所述的方法,其特征在于,标识相机-机器人变换同时标识所述主要和次要相机中的每一个的变换。
22.如权利要求15所述的方法,其特征在于,所述变换准许六个自由度。
23.一种用于确定机器视觉系统和机器人之间的校准的方法,所述方法包括:
利用固定到所述机器人的执行器上的主要相机和次要相机,获取当所述机器人在所述机器人的工作场所内占据多个不同姿态时,固定在空间中校准对象的多个图像,所述校准对象包括至少2个对象特征,所述至少2个对象特征彼此相对以固定、已知的距离被定位,所述机器人具有机器人坐标系,所述主要相机具有主要相机坐标系,所述次要相机具有次要相机坐标系,所述执行器具有执行器坐标系,所述校准对象具有对象坐标系;
标识从所述主要和次要相机坐标系中的每一个到所述执行器坐标系的相机-执行器变换;
标识所述对象坐标系与所述机器人坐标系之间的对象-机器人变换;
对所述多个图像的每一个中的至少2个图像特征定位、所述至少2个图像特征对应于所述至少2个对象特征;
利用所述固定已知的距离、所述相机-执行器变换以及所述对象-机器人变换,计算针对所述多个图像的每一个的至少2个预测图像特征,所述至少2个预测图像特征对应于所述至少2个对象特征;
通过改变所述相机-机器人变换和所述对象-执行器变换,使所述至少2个图像特征的至少一个与所述至少2个预测图像特征的至少一个之间的差异最小化,由此产生优化的变换;以及
使用所优化的变换来校准所述机器视觉系统和所述机器人。
24.如权利要求23所述的方法,其特征在于,所述校准对象包括校准板。
25.如权利要求23所述的方法,其特征在于,所述多个不同姿态之间的差异包括围绕至少两个非平行轴的旋转。
26.如权利要求25所述的方法,其特征在于,所述旋转包括至少五度的旋转。
27.如权利要求23所述的方法,其特征在于,还包括预处理一组所获取图像以去除离群值,其中所述预处理还包括:
确定一组离群值;
响应于确定一组离群值,从一组所获取图像消除具有所述离群值的一幅或多幅图像以产生缩减的一组获取图像;以及
对所述缩减的一组获取图像重新排序以获取合适的动作。
28.如权利要求27所述的方法,其特征在于,所述合适的动作包括所述缩减的一组获取图像中的指定对之间的改变。
29.如权利要求23所述的方法,其特征在于,标识相机-执行器变换同时标识所述主要和次要相机中的每一个的变换。
30.如权利要求23所述的方法,其特征在于,所述变换准许六个自由度。
31.一种用于确定机器视觉系统和机器人之间的校准的方法,所述方法包括:
利用固定在空间中的两个或多个相机,当所述机器人将校准对象移动到所述机器人的工作空间内的多个不同姿态时,获取固定到所述机器人的执行器的所述校准对象的多幅图像,所述校准对象包括至少2个对象特征,所述至少2个对象特征彼此相对以固定、已知的距离被定位,所述机器人具有机器人坐标系,所述两个或多个相机各具有相机坐标系,所述执行器具有执行器坐标系,所述校准对象具有对象坐标系;
标识所述两个或多个相机坐标系每一个与所述机器人坐标系之间的相机-机器人变换;
标识所述对象坐标系与所述执行器坐标系之间的对象-执行器变换;
标识所述多个图像的每一个中的至少2个图像特征,所述至少2个图像特征对应于所述至少2个对象特征;
利用所述固定已知的距离、所述多个姿态、所述两个或多个相机-机器人变换以及所述对象-执行器变换,计算所述多个图像中的至少2个预测特征,所述至少2个预测特征对应于所述至少2个对象特征;
通过同时改变所述两个或多个相机-机器人变换和所述对象-执行器变换,使所述预测特征与所述图像特征之间的差异最小化,由此产生优化的变换;以及
使用所优化的变换来校准所述机器视觉系统和所述机器人。
32.一种用于确定机器视觉系统和机器人之间的校准的方法,所述方法包括:
利用固定到所述机器人的执行器上的两个或多个相机,当所述机器人将所述两个或多个相机移动到所述机器人的工作场所内的多个不同姿态时,获取固定在空间中的校准对象的多幅图像,所述校准对象包括至少2个对象特征,所述至少2个对象特征彼此相对以固定、已知的距离被定位,所述机器人具有机器人坐标系,所述两个或多个相机各具有相机坐标系,所述执行器具有执行器坐标系,所述校准对象具有对象坐标系;
标识两个或多个相机坐标系的每一个与所述执行器坐标系之间的相机-执行器变换;
标识所述对象坐标系与所述机器人坐标系之间的对象-机器人变换;
标识所述多个图像的每一个中的至少2个图像特征,所述至少2个图像特征对应于所述至少2个对象特征;
利用所述固定已知的距离、所述多个姿态、所述两个或多个相机-执行器变换以及所述对象-机器人变换,计算所述多个图像中的至少2个预测特征,所述至少2个预测特征对应于所述至少2个对象特征;
通过同时改变所述两个或多个相机-执行器变换和所述对象-机器人变换,使所述预测特征与所述图像特征之间的差异最小化,由此产生优化的变换;以及
使用所优化的变换来校准所述机器视觉系统和所述机器人。
33.一种用于在机器视觉系统和机器人之间校准的方法,所述方法包括:
获取一组成对的相机姿态和机器人姿态;
分析所获取的一组成对的相机姿态和机器人姿态中的相应机器人动作和相机动作;
基于所述分析检测离群值;
通过去除检测到的离群值对所述一组成对的相机姿态和机器人姿态重新排序以获取具有合适动作的一组成对的相机姿态和机器人姿态;
通过利用具有合适动作的一组成对的相机姿态和机器人姿态来执行校准;以及
在基于机器人的坐标系中计算出变换。
34.如权利要求33所述的方法,其特征在于,合适动作包括至少五度的旋转。
35.如权利要求33所述的方法,其特征在于,合适动作包括沿着至少两个非平行轴的旋转。
36.如权利要求33所述的方法,其特征在于,所述一组成对的相机姿态和机器人姿态包括至少三对相机姿态和机器人姿态。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/780,119 | 2010-05-14 | ||
US12/780,119 US9393694B2 (en) | 2010-05-14 | 2010-05-14 | System and method for robust calibration between a machine vision system and a robot |
PCT/US2011/036460 WO2011143576A2 (en) | 2010-05-14 | 2011-05-13 | System and method for robust calibration between a machine vision system and a robot |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103209809A CN103209809A (zh) | 2013-07-17 |
CN103209809B true CN103209809B (zh) | 2017-02-22 |
Family
ID=44121246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180023892.1A Active CN103209809B (zh) | 2010-05-14 | 2011-05-13 | 用于机器视觉系统和机器人之间的稳健校准的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9393694B2 (zh) |
JP (1) | JP5904676B2 (zh) |
CN (1) | CN103209809B (zh) |
DE (1) | DE112011101730B4 (zh) |
WO (1) | WO2011143576A2 (zh) |
Families Citing this family (154)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9610628B2 (en) | 2009-05-04 | 2017-04-04 | Orametrix, Inc. | Apparatus and method for customized shaping of orthodontic archwires and other medical devices |
US9393694B2 (en) | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
JP5685027B2 (ja) | 2010-09-07 | 2015-03-18 | キヤノン株式会社 | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム |
US20120327214A1 (en) * | 2011-06-21 | 2012-12-27 | HNJ Solutions, Inc. | System and method for image calibration |
US9188973B2 (en) | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
US20150142171A1 (en) * | 2011-08-11 | 2015-05-21 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate an orientation between a robot gripper and a camera |
US20150002855A1 (en) * | 2011-12-19 | 2015-01-01 | Peter Kovacs | Arrangement and method for the model-based calibration of a robot in a working space |
WO2013091596A1 (de) * | 2011-12-19 | 2013-06-27 | Isios Gmbh | Anordnung und verfahren zur modellbasierten kalibration eines roboters in einem arbeitsraum |
JP5938954B2 (ja) * | 2012-03-06 | 2016-06-22 | 株式会社ジェイテクト | ロボットのキャリブレーション方法及びキャリブレーション装置 |
JP5949242B2 (ja) * | 2012-07-11 | 2016-07-06 | セイコーエプソン株式会社 | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
DE102012014312A1 (de) * | 2012-07-19 | 2014-05-15 | Kuka Roboter Gmbh | Robotergeführte Messanordnung |
JP5620445B2 (ja) * | 2012-09-13 | 2014-11-05 | ファナック株式会社 | 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置 |
JP6108860B2 (ja) * | 2013-02-14 | 2017-04-05 | キヤノン株式会社 | ロボットシステム及びロボットシステムの制御方法 |
US10664994B2 (en) * | 2013-02-25 | 2020-05-26 | Cognex Corporation | System and method for calibration of machine vision cameras along at least three discrete planes |
US9457470B2 (en) | 2013-04-05 | 2016-10-04 | Abb Technology Ltd | Robot system and method for calibration |
CN103389699B (zh) * | 2013-05-09 | 2015-08-12 | 浙江大学 | 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法 |
US10725478B2 (en) * | 2013-07-02 | 2020-07-28 | The Boeing Company | Robotic-mounted monument system for metrology systems |
JP6335460B2 (ja) * | 2013-09-26 | 2018-05-30 | キヤノン株式会社 | ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法 |
US9628778B2 (en) * | 2013-10-14 | 2017-04-18 | Eys3D Microelectronics, Co. | Calibration system of a stereo camera and calibration method of a stereo camera |
US10380764B2 (en) * | 2013-12-18 | 2019-08-13 | Cognex Corporation | System and method for performing vision system planar hand-eye calibration from straight line features |
CN104827480A (zh) * | 2014-02-11 | 2015-08-12 | 泰科电子(上海)有限公司 | 机器人系统的自动标定方法 |
FR3019909B1 (fr) * | 2014-04-11 | 2016-04-01 | Snecma | Module porte mires pour la calibration du systeme de vision d'un moyen de production |
US9856037B2 (en) * | 2014-06-18 | 2018-01-02 | The Boeing Company | Stabilization of an end of an extended-reach apparatus in a limited-access space |
US9511496B2 (en) * | 2014-06-20 | 2016-12-06 | The Boeing Company | Robot alignment systems and methods of aligning a robot |
US9211643B1 (en) * | 2014-06-25 | 2015-12-15 | Microsoft Technology Licensing, Llc | Automatic in-situ registration and calibration of robotic arm/sensor/workspace system |
CN105279775B (zh) * | 2014-07-23 | 2019-09-17 | 广明光电股份有限公司 | 机器手臂的校正装置及方法 |
US10179407B2 (en) * | 2014-11-16 | 2019-01-15 | Robologics Ltd. | Dynamic multi-sensor and multi-robot interface system |
JP6507792B2 (ja) * | 2015-03-30 | 2019-05-08 | セイコーエプソン株式会社 | ロボットおよびロボットシステム |
JP6565175B2 (ja) * | 2014-11-21 | 2019-08-28 | セイコーエプソン株式会社 | ロボットおよびロボットシステム |
WO2016079967A1 (en) * | 2014-11-21 | 2016-05-26 | Seiko Epson Corporation | Robot and robot system |
JP6486679B2 (ja) | 2014-12-25 | 2019-03-20 | 株式会社キーエンス | 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム |
TWI577493B (zh) | 2014-12-26 | 2017-04-11 | 財團法人工業技術研究院 | 校正方法與應用此方法的自動化設備 |
US9616569B2 (en) * | 2015-01-22 | 2017-04-11 | GM Global Technology Operations LLC | Method for calibrating an articulated end effector employing a remote digital camera |
WO2016120724A1 (en) * | 2015-01-29 | 2016-08-04 | Abb Technology Ag | 3d segmentation for robotic applications |
EP3054265B1 (en) * | 2015-02-04 | 2022-04-20 | Hexagon Technology Center GmbH | Coordinate measuring machine |
CN104647390B (zh) * | 2015-02-11 | 2016-02-10 | 清华大学 | 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法 |
US10223589B2 (en) * | 2015-03-03 | 2019-03-05 | Cognex Corporation | Vision system for training an assembly system through virtual assembly of objects |
JP6562665B2 (ja) * | 2015-03-18 | 2019-08-21 | 蛇の目ミシン工業株式会社 | ロボット |
DE102015104587B4 (de) | 2015-03-26 | 2022-04-28 | Pi4_Robotics Gmbh | Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens |
US9857786B2 (en) | 2015-03-31 | 2018-01-02 | Recognition Robotics, Inc. | System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame |
US9878447B2 (en) * | 2015-04-10 | 2018-01-30 | Microsoft Technology Licensing, Llc | Automated collection and labeling of object data |
ZA201505409B (en) * | 2015-07-27 | 2016-12-21 | Csir | A method of calibrating a helmet anda system therefor |
US10290118B2 (en) * | 2015-08-06 | 2019-05-14 | Cognex Corporation | System and method for tying together machine vision coordinate spaces in a guided assembly environment |
US10173324B2 (en) * | 2015-11-16 | 2019-01-08 | Abb Schweiz Ag | Facilitating robot positioning |
JP2017100202A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社アイキューブテクノロジ | ロボットシステム、制御装置、制御方法、及びプログラム |
JP6674655B2 (ja) * | 2016-01-12 | 2020-04-01 | 株式会社Ihi | 相対データ較正装置と方法 |
US9815204B2 (en) * | 2016-01-22 | 2017-11-14 | The Boeing Company | Apparatus and method to optically locate workpiece for robotic operations |
DE102016103317B4 (de) * | 2016-02-25 | 2018-12-06 | Roboception Gmbh | Verfahren zur Gewinnung von Kalibrierungsdaten |
DE102016203701A1 (de) * | 2016-03-07 | 2017-09-07 | Kuka Roboter Gmbh | Industrieroboter mit mindestens zwei Bilderfassungseinrichtungen |
JP2017170571A (ja) * | 2016-03-24 | 2017-09-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置、及びロボットシステム |
US10214926B2 (en) * | 2016-03-29 | 2019-02-26 | Elid Technology International Pte Ltd | System and method for cleaning external walls of building |
CN105773661B (zh) * | 2016-03-30 | 2018-08-21 | 广东速美达自动化股份有限公司 | 水平机器人固定相机下工件平移旋转标定方法 |
US10596706B2 (en) * | 2016-04-08 | 2020-03-24 | Delta Electronics, Inc. | Mechanism-parameter-calibration method for robotic arm system |
US11267125B2 (en) | 2016-04-08 | 2022-03-08 | Delta Electronics, Inc. | Mechanism-parameter-calibration method for robotic arm system |
US10322506B2 (en) * | 2016-05-06 | 2019-06-18 | Kindred Systems Inc. | Systems, devices, articles, and methods for using trained robots |
DE102016212695B4 (de) * | 2016-05-31 | 2019-02-21 | Siemens Aktiengesellschaft | Industrieroboter |
CN109496265B (zh) * | 2016-06-20 | 2023-04-28 | 康耐视公司 | 用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法 |
CN107571290B (zh) * | 2016-07-04 | 2020-04-28 | 北京航空航天大学 | 工业机器人末端执行器的校准装置、方法及系统 |
US10076842B2 (en) | 2016-09-28 | 2018-09-18 | Cognex Corporation | Simultaneous kinematic and hand-eye calibration |
JP6490037B2 (ja) * | 2016-10-04 | 2019-03-27 | ファナック株式会社 | 移動可能な台車に支持されたロボットを備えるロボットシステム |
SE540459C2 (en) * | 2016-11-22 | 2018-09-18 | Unibap Ab | Measuring system and method of an industrial robot |
CN106553195B (zh) * | 2016-11-25 | 2018-11-27 | 中国科学技术大学 | 工业机器人抓取过程中的物体6自由度定位方法及系统 |
JP7179439B2 (ja) * | 2016-11-28 | 2022-11-29 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR102576842B1 (ko) * | 2017-01-04 | 2023-09-12 | 삼성전자주식회사 | 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치 |
JP6396516B2 (ja) | 2017-01-12 | 2018-09-26 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
CN117036239A (zh) | 2017-01-24 | 2023-11-10 | 天使集团股份有限公司 | 筹码识别系统 |
US10661442B2 (en) * | 2017-02-03 | 2020-05-26 | Abb Schweiz Ag | Calibration article for a 3D vision robotic system |
JP6860843B2 (ja) * | 2017-02-20 | 2021-04-21 | 株式会社安川電機 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
WO2018199947A1 (en) * | 2017-04-26 | 2018-11-01 | Hewlett-Packard Development Company, L.P. | Robotic structure calibrations |
CN111052187B (zh) | 2017-06-20 | 2024-01-30 | 惠普发展公司,有限责任合伙企业 | 传感器位置确定 |
JP7003463B2 (ja) * | 2017-07-11 | 2022-01-20 | セイコーエプソン株式会社 | ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法 |
FR3069691B1 (fr) * | 2017-07-25 | 2020-07-10 | Safran | Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur |
JP2019029820A (ja) | 2017-07-31 | 2019-02-21 | セイコーエプソン株式会社 | カメラの校正方法および校正用具 |
JP6886620B2 (ja) * | 2017-08-09 | 2021-06-16 | オムロン株式会社 | キャリブレーション方法、キャリブレーションシステム及びプログラム |
TWI668541B (zh) | 2017-09-29 | 2019-08-11 | 財團法人工業技術研究院 | 機器人工具中心點校正系統及其方法 |
EP3737537A4 (en) * | 2017-11-20 | 2022-05-04 | Kindred Systems Inc. | SYSTEMS, DEVICES, ARTICLES AND METHODS FOR CALIBRATION OF RANGEFINDERS AND ROBOTS |
US11338441B2 (en) | 2017-12-01 | 2022-05-24 | Delta Electronics, Inc. | Calibration system for robot tool and calibration method for the same |
US11072074B2 (en) * | 2017-12-13 | 2021-07-27 | Cognex Corporation | Calibration and operation of vision-based manipulation systems |
CN107993227B (zh) * | 2017-12-15 | 2020-07-24 | 深圳先进技术研究院 | 一种获取3d腹腔镜手眼矩阵的方法和装置 |
US11088004B2 (en) * | 2018-01-30 | 2021-08-10 | Brooks Automation, Inc. | Automatic wafer centering method and apparatus |
CN108436909A (zh) * | 2018-03-13 | 2018-08-24 | 南京理工大学 | 一种基于ros的相机和机器人的手眼标定方法 |
JP6777670B2 (ja) * | 2018-03-27 | 2020-10-28 | ファナック株式会社 | 画像処理を利用してロボットの教示を補正するロボットシステム |
CN110349218A (zh) * | 2018-04-03 | 2019-10-18 | 泰科电子(上海)有限公司 | 摄像机的标定方法和标定系统 |
WO2019206247A1 (en) * | 2018-04-27 | 2019-10-31 | Shanghai Truthvision Information Technology Co., Ltd | System and method for camera calibration |
CN109048893A (zh) * | 2018-07-27 | 2018-12-21 | 浙江工业大学 | 一种基于单目rgb相机的机械臂定位方法 |
WO2020024178A1 (zh) * | 2018-08-01 | 2020-02-06 | 深圳配天智能技术研究院有限公司 | 一种手眼标定方法、系统及计算机存储介质 |
CN108769673A (zh) * | 2018-08-07 | 2018-11-06 | 布勒索特克斯光电设备(合肥)有限公司 | 一种相机对准和光学校准的装置及方法 |
US10751883B2 (en) | 2018-08-16 | 2020-08-25 | Mitutoyo Corporation | Robot system with supplementary metrology position coordinates determination system |
US11002529B2 (en) | 2018-08-16 | 2021-05-11 | Mitutoyo Corporation | Robot system with supplementary metrology position determination system |
US10871366B2 (en) | 2018-08-16 | 2020-12-22 | Mitutoyo Corporation | Supplementary metrology position coordinates determination system for use with a robot |
US11745354B2 (en) | 2018-08-16 | 2023-09-05 | Mitutoyo Corporation | Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot |
CN111971529A (zh) * | 2018-09-03 | 2020-11-20 | Abb瑞士股份有限公司 | 用于管理机器人系统的方法和装置 |
US10913156B2 (en) | 2018-09-24 | 2021-02-09 | Mitutoyo Corporation | Robot system with end tool metrology position coordinates determination system |
CN110969665B (zh) * | 2018-09-30 | 2023-10-10 | 杭州海康威视数字技术股份有限公司 | 一种外参标定方法、装置、系统及机器人 |
US11609574B2 (en) * | 2018-11-13 | 2023-03-21 | FLIR Belgium BVBA | Extrinsic sensor calibration systems and methods |
TWI677413B (zh) | 2018-11-20 | 2019-11-21 | 財團法人工業技術研究院 | 用於機械手臂系統之校正方法及裝置 |
US10926416B2 (en) * | 2018-11-21 | 2021-02-23 | Ford Global Technologies, Llc | Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture |
TWI696529B (zh) * | 2018-11-30 | 2020-06-21 | 財團法人金屬工業研究發展中心 | 自動定位方法以及自動控制裝置 |
TWI672206B (zh) | 2018-12-19 | 2019-09-21 | 財團法人工業技術研究院 | 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統 |
CN109719726B (zh) * | 2018-12-30 | 2021-08-20 | 芜湖哈特机器人产业技术研究院有限公司 | 一种机械臂手眼标定装置及方法 |
CN109794963B (zh) * | 2019-01-07 | 2021-06-01 | 南京航空航天大学 | 一种面向曲面构件的机器人快速定位方法 |
KR102577448B1 (ko) * | 2019-01-22 | 2023-09-12 | 삼성전자 주식회사 | 핸드 아이 캘리브레이션 방법 및 시스템 |
US11911914B2 (en) | 2019-01-28 | 2024-02-27 | Cognex Corporation | System and method for automatic hand-eye calibration of vision system for robot motion |
DE102019102927B4 (de) | 2019-02-06 | 2023-02-23 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts |
DE102019105466B3 (de) | 2019-03-04 | 2020-08-06 | Forward Ttc Gmbh | Verfahren zum Betrieb eines Antriebssystems sowie Antriebssystem |
US11254019B2 (en) * | 2019-03-05 | 2022-02-22 | The Boeing Company | Automatic calibration for a robot optical sensor |
US10369698B1 (en) * | 2019-03-07 | 2019-08-06 | Mujin, Inc. | Method and system for performing automatic camera calibration for robot control |
GB2582139B (en) * | 2019-03-11 | 2021-07-21 | Arrival Ltd | A method for determining positional error within a robotic cell environment |
TWI706841B (zh) * | 2019-03-22 | 2020-10-11 | 達明機器人股份有限公司 | 3d相機與機械手臂座標系統的校正裝置及方法 |
US10399227B1 (en) | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US10576636B1 (en) | 2019-04-12 | 2020-03-03 | Mujin, Inc. | Method and control system for and updating camera calibration for robot control |
CN111823222B (zh) * | 2019-04-16 | 2021-04-27 | 华中科技大学无锡研究院 | 单目相机多视场视觉引导装置及引导方法 |
CN110378937B (zh) * | 2019-05-27 | 2021-05-11 | 浙江工业大学 | 基于Kinect摄像头的工业机械臂人机安全距离检测方法 |
CN114025928A (zh) * | 2019-06-27 | 2022-02-08 | 松下知识产权经营株式会社 | 末端执行器的控制系统以及末端执行器的控制方法 |
TWI699264B (zh) * | 2019-07-05 | 2020-07-21 | 上銀科技股份有限公司 | 視覺導引機器手臂校正方法 |
KR20210004553A (ko) * | 2019-07-05 | 2021-01-13 | 삼성전자주식회사 | 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체 |
TWI758626B (zh) * | 2019-08-01 | 2022-03-21 | 達明機器人股份有限公司 | 機器手臂的視覺系統定位方法 |
JP6785931B1 (ja) * | 2019-08-30 | 2020-11-18 | Dmg森精機株式会社 | 生産システム |
EP3792012B1 (en) * | 2019-09-12 | 2023-12-27 | Bayerische Motoren Werke Aktiengesellschaft | Method and control unit for operating a rotating head system with multiple cameras |
TWI708667B (zh) * | 2019-09-27 | 2020-11-01 | 國立臺灣大學 | 運動裝置之位置與姿態校正裝置及系統與方法 |
JP7443014B2 (ja) * | 2019-10-08 | 2024-03-05 | 大豊精機株式会社 | ロボットアーム試験装置 |
CN110634164B (zh) * | 2019-10-16 | 2022-06-14 | 易思维(杭州)科技有限公司 | 视觉传感器快速标定方法 |
CN111131813B (zh) * | 2019-10-29 | 2020-12-25 | 牧今科技 | 用于确定相机校准的姿态的方法、系统和介质 |
US11370121B2 (en) | 2019-10-29 | 2022-06-28 | Mujin, Inc. | Method and system for determining poses for camera calibration |
EP4046099A1 (en) | 2019-11-12 | 2022-08-24 | Bright Machines, Inc. | A software defined manufacturing/assembly system |
CN111191546A (zh) * | 2019-12-20 | 2020-05-22 | 广西柳州联耕科技有限公司 | 基于机器视觉识别的产品智能装配方法 |
TWI706843B (zh) * | 2020-01-02 | 2020-10-11 | 台達電子工業股份有限公司 | 機器人工具的校正方法與校正系統 |
EP4100874A1 (en) * | 2020-02-06 | 2022-12-14 | Berkshire Grey Operating Company, Inc. | Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device |
CN111591474B (zh) * | 2020-02-28 | 2021-12-07 | 上海航天控制技术研究所 | 一种航天器在轨操作系统对准式手眼标定方法 |
US20210291376A1 (en) * | 2020-03-18 | 2021-09-23 | Cognex Corporation | System and method for three-dimensional calibration of a vision system |
CN111710002B (zh) * | 2020-05-27 | 2022-09-16 | 华中科技大学 | 一种基于Optitrack系统的相机外参标定方法 |
CN111912337B (zh) * | 2020-07-24 | 2021-11-09 | 上海擎朗智能科技有限公司 | 机器人位姿信息的确定方法、装置、设备和介质 |
US11548156B2 (en) * | 2020-09-17 | 2023-01-10 | Techman Robot Inc. | Device and method for calibrating coordinate system of 3D camera and robotic arm |
US20220134566A1 (en) * | 2020-11-04 | 2022-05-05 | X Development Llc | Optimizing calibration with constraints between different coordinate frames |
CN112847350B (zh) * | 2020-12-30 | 2022-03-25 | 杭州思锐迪科技有限公司 | 手眼标定方法、系统、计算机设备和存储介质 |
US20220219328A1 (en) * | 2021-01-08 | 2022-07-14 | General Electric Company | Method and device for creation of three dimensional tool frame |
US20220264072A1 (en) * | 2021-02-12 | 2022-08-18 | Sony Group Corporation | Auto-calibrating n-configuration volumetric camera capture array |
CN112975973B (zh) * | 2021-03-02 | 2022-07-26 | 中山大学 | 一种应用于柔性机器人的混合标定方法及装置 |
CN112936315B (zh) * | 2021-03-18 | 2022-12-20 | 深圳市梯易易智能科技有限公司 | 一种基于成像方式的机械臂校准方法及装置 |
US11912513B1 (en) * | 2021-04-14 | 2024-02-27 | Amazon Technologies, Inc. | Robotic system camera calibration and localization using robot-mounted registered patterns |
EP4094897B1 (de) * | 2021-05-26 | 2023-09-20 | MVTec Software GmbH | Hand-auge-kalibrierung von kamerageführten apparaturen |
EP4101604A1 (en) * | 2021-06-09 | 2022-12-14 | Ebots, Inc. | System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system |
TWI782709B (zh) * | 2021-09-16 | 2022-11-01 | 財團法人金屬工業研究發展中心 | 手術機械臂控制系統以及手術機械臂控制方法 |
CN113843792B (zh) * | 2021-09-23 | 2024-02-06 | 四川锋准机器人科技有限公司 | 一种手术机器人的手眼标定方法 |
CN115890638A (zh) * | 2021-09-30 | 2023-04-04 | 台达电子工业股份有限公司 | 自动化机械手臂系统 |
CN113787522B (zh) * | 2021-10-12 | 2022-08-26 | 华侨大学 | 消除机械臂累积误差的手眼标定方法 |
DE102021126517A1 (de) | 2021-10-13 | 2023-04-13 | Bayerische Motoren Werke Aktiengesellschaft | Robotervorrichtung, Verfahren zum Betreiben einer Robotervorrichtung sowie Steuereinheit für eine Robotervorrichtung |
CN114454167B (zh) * | 2022-02-11 | 2024-06-07 | 四川锋准机器人科技有限公司 | 一种种植牙机器人末端夹持器几何尺寸的标定方法 |
CN114589698B (zh) * | 2022-04-07 | 2023-06-06 | 北京信息科技大学 | 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置 |
US20230390933A1 (en) * | 2022-06-03 | 2023-12-07 | Oliver Crispin Robotics Limited | Systems and methods for aligning and localizing a tool |
TWI799310B (zh) * | 2022-06-30 | 2023-04-11 | 國立清華大學 | 機器人及機器人手眼校正方法 |
TWI832770B (zh) * | 2023-05-31 | 2024-02-11 | 台達電子工業股份有限公司 | 基於影像處理的機械手臂校正方法以及系統 |
CN116673998B (zh) * | 2023-07-25 | 2023-10-20 | 宿迁中矿智能装备研究院有限公司 | 一种工业机械手的定位校准装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960125A (en) * | 1996-11-21 | 1999-09-28 | Cognex Corporation | Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object |
CN1727839A (zh) * | 2004-07-28 | 2006-02-01 | 发那科株式会社 | 机器人系统中再校准三维视觉传感器的方法和设备 |
EP0963816B1 (de) * | 1998-06-12 | 2006-03-08 | AMATEC GmbH | Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters |
CN101100061A (zh) * | 2006-07-03 | 2008-01-09 | 发那科株式会社 | 测量装置以及校准方法 |
EP2070664A1 (en) * | 2007-12-14 | 2009-06-17 | Montanuniversität Leoben | Object processing system |
Family Cites Families (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2598019B1 (fr) | 1986-04-25 | 1992-09-11 | Thomson Csf | Procede d'utilisation d'une matrice photosensible a transfert de charge, et matrice photosensible ainsi utilisee |
FR2604320B1 (fr) | 1986-09-19 | 1988-11-04 | Thomson Csf | Systeme de prise de vues en videographie rapide utilisant un capteur optique matriciel a transfert de charges |
US4831549A (en) * | 1987-07-28 | 1989-05-16 | Brigham Young University | Device and method for correction of robot inaccuracy |
FR2631188A1 (fr) | 1988-05-03 | 1989-11-10 | Thomson Csf | Photodetecteur matriciel a transfert de charges avec dispositif integre de filtrage de charges |
US5297238A (en) | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
FR2711824B1 (fr) | 1993-10-21 | 1996-01-05 | Recif Sa | Procédés et dispositifs d'identification de caractères inscrits sur des substrats. |
JPH08201021A (ja) | 1995-01-23 | 1996-08-09 | Mazda Motor Corp | キャリブレーション方法 |
US5742037A (en) | 1996-03-07 | 1998-04-21 | Cognex Corp. | Method and apparatus for high speed identification of objects having an identifying feature |
US5978502A (en) | 1996-04-01 | 1999-11-02 | Cognex Corporation | Machine vision methods for determining characteristics of three-dimensional objects |
US5859924A (en) | 1996-07-12 | 1999-01-12 | Robotic Vision Systems, Inc. | Method and system for measuring object features |
US6026172A (en) | 1996-09-06 | 2000-02-15 | Lewis, Jr.; Clarence A. | System and method for zoom lens calibration and method using same |
JPH1080882A (ja) | 1996-09-06 | 1998-03-31 | Fujitsu Ltd | ロボット用座標変換パラメータ測定方法 |
US6137893A (en) | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
US5918196A (en) | 1996-11-29 | 1999-06-29 | Cognex Corporation | Vision system for analyzing solid-of-revolution radius profile |
US6005965A (en) | 1997-04-07 | 1999-12-21 | Komatsu Ltd. | Inspection apparatus for semiconductor packages |
DE19734695C1 (de) * | 1997-08-11 | 1998-11-05 | Leica Mikroskopie & Syst | Verfahren zur Korrektur der Messfehler einer Koodinaten-Messmaschine |
US5978521A (en) | 1997-09-25 | 1999-11-02 | Cognex Corporation | Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object |
US5978080A (en) * | 1997-09-25 | 1999-11-02 | Cognex Corporation | Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view |
US6044530A (en) | 1997-10-02 | 2000-04-04 | Stanley Fastening Systems, L.P. | Slotted clip and method |
US6856698B1 (en) | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
US6658145B1 (en) | 1997-12-31 | 2003-12-02 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
US6173070B1 (en) | 1997-12-30 | 2001-01-09 | Cognex Corporation | Machine vision method using search models to find features in three dimensional images |
US6850646B1 (en) | 1997-12-31 | 2005-02-01 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
US6070109A (en) * | 1998-03-10 | 2000-05-30 | Fanuc Robotics North America, Inc. | Robot calibration system |
US6101455A (en) * | 1998-05-14 | 2000-08-08 | Davis; Michael S. | Automatic calibration of cameras and structured light sources |
DE19848765C2 (de) | 1998-10-22 | 2000-12-21 | Brainlab Med Computersyst Gmbh | Positionsverifizierung in Kamerabildern |
US7068825B2 (en) | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
JP3421608B2 (ja) * | 1999-04-08 | 2003-06-30 | ファナック株式会社 | 教示モデル生成装置 |
JP4453119B2 (ja) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
GB9914918D0 (en) * | 1999-06-26 | 1999-08-25 | British Aerospace | Method and apparatus for calibrating a first co-ordinate frame of an indexing means in a second frame of a sensing means |
US6166811A (en) | 1999-08-12 | 2000-12-26 | Perceptron, Inc. | Robot-based gauging system for determining three-dimensional measurement data |
US6594623B1 (en) | 1999-11-12 | 2003-07-15 | Cognex Technology And Investment Corporation | Determining three-dimensional orientation of objects |
US6639624B1 (en) | 1999-12-30 | 2003-10-28 | Cognex Corporation | Machine vision methods for inspection of leaded components |
US6748104B1 (en) | 2000-03-24 | 2004-06-08 | Cognex Corporation | Methods and apparatus for machine vision inspection using single and multiple templates or patterns |
US7065242B2 (en) * | 2000-03-28 | 2006-06-20 | Viewpoint Corporation | System and method of three-dimensional image capture and modeling |
EP2258303B1 (en) | 2000-04-19 | 2013-09-18 | OraMetrix, Inc. | System for creating an individual three-dimensional virtual tooth model |
WO2001080764A1 (en) | 2000-04-25 | 2001-11-01 | Align Technology, Inc. | Systems and methods for varying elastic modulus appliances |
US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
WO2001088471A1 (de) | 2000-05-16 | 2001-11-22 | Steinbichler Optotechnik Gmbh | Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes |
US6718074B1 (en) | 2000-06-02 | 2004-04-06 | Cognex Corporation | Method and apparatus for inspection for under-resolved features in digital images |
US6768509B1 (en) | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
US6624899B1 (en) | 2000-06-29 | 2003-09-23 | Schmitt Measurement Systems, Inc. | Triangulation displacement sensor |
JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
US6771808B1 (en) * | 2000-12-15 | 2004-08-03 | Cognex Corporation | System and method for registering patterns transformed in six degrees of freedom using machine vision |
US6751338B1 (en) | 2000-12-15 | 2004-06-15 | Cognex Corporation | System and method of using range image data with machine vision tools |
US6728582B1 (en) * | 2000-12-15 | 2004-04-27 | Cognex Corporation | System and method for determining the position of an object in three dimensions using a machine vision system with two cameras |
US6681151B1 (en) | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
US6751361B1 (en) | 2000-12-22 | 2004-06-15 | Cognex Corporation | Method and apparatus for performing fixturing in a machine vision system |
US6798925B1 (en) * | 2000-12-22 | 2004-09-28 | Cognex Corporation | Method and apparatus for calibrating an image acquisition system |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
US6915008B2 (en) * | 2001-03-08 | 2005-07-05 | Point Grey Research Inc. | Method and apparatus for multi-nodal, three-dimensional imaging |
SE0103279L (sv) | 2001-10-02 | 2003-04-03 | Integrated Vision Prod | Förfarande för mätning av ljusspridning och geometrisk profil |
US6993177B1 (en) * | 2001-11-02 | 2006-01-31 | Cognex Technology And Investment Corporation | Gauging based on global alignment and sub-models |
US7046840B2 (en) * | 2001-11-09 | 2006-05-16 | Arcsoft, Inc. | 3-D reconstruction engine |
US7212228B2 (en) * | 2002-01-16 | 2007-05-01 | Advanced Telecommunications Research Institute International | Automatic camera calibration method |
EP1472052A2 (en) * | 2002-01-31 | 2004-11-03 | Braintech Canada, Inc. | Method and apparatus for single camera 3d vision guided robotics |
US7085622B2 (en) | 2002-04-19 | 2006-08-01 | Applied Material, Inc. | Vision system |
JP4226550B2 (ja) | 2002-07-25 | 2009-02-18 | ソリューショニックス コーポレーション | 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法 |
WO2004040231A2 (en) * | 2002-10-29 | 2004-05-13 | Metron Systems, Inc. | Calibration for 3d measurement system |
KR100468857B1 (ko) * | 2002-11-21 | 2005-01-29 | 삼성전자주식회사 | 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법 |
JP3944091B2 (ja) | 2003-02-06 | 2007-07-11 | パルステック工業株式会社 | 3次元画像データ生成方法 |
SE524818C2 (sv) * | 2003-02-13 | 2004-10-05 | Abb Ab | En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt |
JP4021351B2 (ja) | 2003-03-24 | 2007-12-12 | 株式会社新川 | ボンディング用照明装置及びボンディング用照明装置の較正方法 |
US7373270B2 (en) | 2003-03-26 | 2008-05-13 | Sony Corporation | Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus |
JP4346950B2 (ja) * | 2003-05-02 | 2009-10-21 | キヤノン株式会社 | 情報処理方法および装置 |
JP2004354257A (ja) | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
DE10333802B4 (de) | 2003-07-24 | 2005-09-08 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zum Prüfen von Reifen |
JP3733364B2 (ja) * | 2003-11-18 | 2006-01-11 | ファナック株式会社 | 教示位置修正方法 |
US8098275B2 (en) * | 2003-12-30 | 2012-01-17 | The Trustees Of The Stevens Institute Of Technology | Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration |
JP4021413B2 (ja) * | 2004-01-16 | 2007-12-12 | ファナック株式会社 | 計測装置 |
JP3930482B2 (ja) * | 2004-01-19 | 2007-06-13 | ファナック株式会社 | 3次元視覚センサ |
US7609893B2 (en) | 2004-03-03 | 2009-10-27 | Trw Automotive U.S. Llc | Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model |
US7292257B2 (en) * | 2004-06-28 | 2007-11-06 | Microsoft Corporation | Interactive viewpoint video system and process |
JP2006110705A (ja) | 2004-09-15 | 2006-04-27 | Yaskawa Electric Corp | ロボットのキャリブレーション方法 |
US7356425B2 (en) | 2005-03-14 | 2008-04-08 | Ge Security, Inc. | Method and system for camera autocalibration |
US7590218B2 (en) * | 2005-03-23 | 2009-09-15 | Best Medical International, Inc. | System for monitoring the geometry of a radiation treatment apparatus, trackable assembly, program product, and related methods |
JP2006289531A (ja) * | 2005-04-07 | 2006-10-26 | Seiko Epson Corp | ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム |
US7801330B2 (en) | 2005-06-24 | 2010-09-21 | Objectvideo, Inc. | Target detection and tracking from video streams |
EP2439697A3 (en) * | 2005-09-22 | 2012-07-04 | 3M Innovative Properties Company | Method for refining the calibration of an imaging system |
DE102005048136B4 (de) * | 2005-10-06 | 2010-01-21 | Kuka Roboter Gmbh | Verfahren zum Bestimmen eines virtuellen Tool-Center-Points |
US8111904B2 (en) * | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
US7656425B2 (en) * | 2006-03-31 | 2010-02-02 | Mitutoyo Corporation | Robust field of view distortion calibration |
US20080129894A1 (en) * | 2006-12-02 | 2008-06-05 | Electronics And Telecommunications Research Institute | Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same |
CN101563709B (zh) * | 2006-12-18 | 2013-07-31 | 皇家飞利浦电子股份有限公司 | 校准照相机系统 |
JP4298757B2 (ja) * | 2007-02-05 | 2009-07-22 | ファナック株式会社 | ロボット機構のキャリブレーション装置及び方法 |
JP5230114B2 (ja) * | 2007-03-13 | 2013-07-10 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5270670B2 (ja) | 2007-05-29 | 2013-08-21 | コグネックス・テクノロジー・アンド・インベストメント・コーポレーション | 2次元画像による3次元組立て検査 |
KR100918480B1 (ko) * | 2007-09-03 | 2009-09-28 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 처리 방법 |
US7777300B2 (en) | 2007-09-18 | 2010-08-17 | Infineon Technologies Ag | Semiconductor device with capacitor |
WO2009132703A1 (en) * | 2008-04-30 | 2009-11-05 | Abb Technology Ab | A method and a system for determining the relation between a robot coordinate system and a local coordinate system located in the working range of the robot |
US8248476B2 (en) * | 2008-09-03 | 2012-08-21 | University Of South Carolina | Robust stereo calibration system and method for accurate digital image correlation measurements |
GB2465793A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
US8442304B2 (en) | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
US11699247B2 (en) * | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
US9393694B2 (en) | 2010-05-14 | 2016-07-19 | Cognex Corporation | System and method for robust calibration between a machine vision system and a robot |
US8743214B2 (en) * | 2011-05-11 | 2014-06-03 | Intel Corporation | Display screen for camera calibration |
JP6108860B2 (ja) * | 2013-02-14 | 2017-04-05 | キヤノン株式会社 | ロボットシステム及びロボットシステムの制御方法 |
US9507995B2 (en) * | 2014-08-29 | 2016-11-29 | X Development Llc | Combination of stereo and structured-light processing |
-
2010
- 2010-05-14 US US12/780,119 patent/US9393694B2/en active Active
-
2011
- 2011-05-13 DE DE112011101730.8T patent/DE112011101730B4/de active Active
- 2011-05-13 JP JP2013511241A patent/JP5904676B2/ja active Active
- 2011-05-13 CN CN201180023892.1A patent/CN103209809B/zh active Active
- 2011-05-13 WO PCT/US2011/036460 patent/WO2011143576A2/en active Application Filing
-
2015
- 2015-10-23 US US14/921,731 patent/US10421189B2/en active Active
-
2018
- 2018-11-15 US US16/192,233 patent/US11077557B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960125A (en) * | 1996-11-21 | 1999-09-28 | Cognex Corporation | Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object |
EP0963816B1 (de) * | 1998-06-12 | 2006-03-08 | AMATEC GmbH | Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters |
CN1727839A (zh) * | 2004-07-28 | 2006-02-01 | 发那科株式会社 | 机器人系统中再校准三维视觉传感器的方法和设备 |
CN101100061A (zh) * | 2006-07-03 | 2008-01-09 | 发那科株式会社 | 测量装置以及校准方法 |
EP2070664A1 (en) * | 2007-12-14 | 2009-06-17 | Montanuniversität Leoben | Object processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2013526423A (ja) | 2013-06-24 |
JP5904676B2 (ja) | 2016-04-20 |
US20160039096A1 (en) | 2016-02-11 |
US20110280472A1 (en) | 2011-11-17 |
DE112011101730T5 (de) | 2013-06-27 |
DE112011101730B4 (de) | 2016-03-17 |
CN103209809A (zh) | 2013-07-17 |
US20190084160A1 (en) | 2019-03-21 |
US9393694B2 (en) | 2016-07-19 |
US11077557B2 (en) | 2021-08-03 |
WO2011143576A2 (en) | 2011-11-17 |
WO2011143576A3 (en) | 2012-08-09 |
US10421189B2 (en) | 2019-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103209809B (zh) | 用于机器视觉系统和机器人之间的稳健校准的系统和方法 | |
US9529945B2 (en) | Robot simulation system which simulates takeout process of workpieces | |
CN106461383B (zh) | 机器人臂/传感器/工作区系统的自动现场配准和校准 | |
JP4976402B2 (ja) | 実用的な3dビジョンシステムの方法および装置 | |
CN104802173B (zh) | 视觉传感器的数据生成装置和检测模拟系统 | |
CN109153125A (zh) | 用于定向工业机器人的方法和工业机器人 | |
JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
US9715730B2 (en) | Three-dimensional measurement apparatus and robot system | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
US20120262455A1 (en) | Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium | |
CN103302666A (zh) | 信息处理设备和信息处理方法 | |
EP2639766A1 (en) | Model generation apparatus, information processing apparatus, model generation method, and information processing method | |
WO2018204112A1 (en) | Triangulation scanner having flat geometry and projecting uncoded spots | |
Baratoff et al. | Interactive multi-marker calibration for augmented reality applications | |
CN101370624A (zh) | 自动化攫握零件的方法和系统 | |
CN109781068B (zh) | 面向空间应用的视觉测量系统地面模拟评估系统及方法 | |
US20190376860A1 (en) | Visuo-haptic sensor | |
Rendón-Mancha et al. | Robot positioning using camera-space manipulation with a linear camera model | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
EP3693697B1 (en) | Method for calibrating a 3d measurement arrangement and 3d measurement arrangement | |
CN117853441A (zh) | 视触觉传感器检测方法、装置、视触觉传感器、电子设备 | |
Rousseau et al. | Machine vision system for the automatic identification of robot kinematic parameters | |
CN113597362B (zh) | 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 | |
Qiao | Advanced sensing development to support robot accuracy assessment and improvement | |
WO2005073669A1 (en) | Semi and fully-automatic camera calibration tools using laser-based measurement devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |