CN113240751B - 一种机器人末端相机的标定方法 - Google Patents

一种机器人末端相机的标定方法 Download PDF

Info

Publication number
CN113240751B
CN113240751B CN202110542449.0A CN202110542449A CN113240751B CN 113240751 B CN113240751 B CN 113240751B CN 202110542449 A CN202110542449 A CN 202110542449A CN 113240751 B CN113240751 B CN 113240751B
Authority
CN
China
Prior art keywords
robot
camera
coordinate system
posture
calibration object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110542449.0A
Other languages
English (en)
Other versions
CN113240751A (zh
Inventor
向佐庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huiju Intelligent Technology Co ltd
Original Assignee
Guangzhou Huiju Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huiju Intelligent Technology Co ltd filed Critical Guangzhou Huiju Intelligent Technology Co ltd
Priority to CN202110542449.0A priority Critical patent/CN113240751B/zh
Publication of CN113240751A publication Critical patent/CN113240751A/zh
Application granted granted Critical
Publication of CN113240751B publication Critical patent/CN113240751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种机器人末端相机的标定方法，采用如下步骤：在白色纸片上打印一个标定物；控制机器人以姿态A使标定物的中心与相机成像的图像中心对准，采集机器人的位姿参数rpos_a和标定物在相机成像的图像坐标系中的坐标Pi_a；控制机器人以姿态B使标定物的中心与相机成像的图像中心对准，采集机器人的位姿参数rpos_b和标定物在相机成像的图像坐标系中的坐标Pi_b；控制机器人以姿态C使标定物出现在相机成像的图像左上或右上或左下或右下，采集机器人的位姿参数rpos_c和标定物在相机成像的图像坐标系中的坐标Pi_c；建立相机坐标系到机器人末端坐标系的转换矩阵Hce。本发明采集三组数据即可完成机器人末端相机的标定，操作简单、方便。

Description

一种机器人末端相机的标定方法
技术领域
本发明涉及计算机视觉技术领域，具体的是一种机器人末端相机的标定方法。
背景技术
单相机标定是指建立相机成像的几何模型，从而可以确定物理空间中的几何位置与其在图像中对应点之间的转换关系。相机成像的几何模型参数即相机的参数，包括内参、外参以及畸变参数等，鉴于相机标定涉及成像几何、镜头畸变、单应矩阵、非线性优化等问题，如果相机参数无法获得精确值，那么在实际的应用中则无法确定空间物理位置和像素位置之间的转换关系。
具体到机器人末端相机，其标定又不同于单相机标定，机器人末端相机标定主要是为了获得对应机器人不同姿态的各种坐标系之间的转换关系, 不仅包括相机标定，也包括机器人系统的手眼标定。在实际的应用中，通过视觉技术获得目标的像素坐标，然后利用机器人末端相机获得机器人当前姿态下的转换关系，将像素坐标转换到实际的空间物理坐标，供机械手抓取、控制等操作。因此机器人末端相机标定在机器人应用中也是一个必不可少的过程，而且精度要求更高。
因此，传统的机器人末端相机往往通常需要采集多达9组数据才能满足精度要求，操作方法过于复杂。
发明内容
为了弥补现有技术的上述不足，本发明提供了一种机器人末端相机的标定方法，其技术方案如下。
一种机器人末端相机的标定方法，采用如下步骤：
S1-标定数据采集；
在白色纸片上打印一个标定物；
控制机器人以姿态A使标定物的中心与相机成像的图像中心对准，控制机器人以姿态B使标定物的中心与相机成像的图像中心对准，控制机器人以姿态C使标定物出现在相机成像的图像左上或右上或左下或右下，在姿态A、姿态B、姿态C三种情形下分别采集机器人的位姿参数rpos和标定物在相机成像的图像坐标系中的坐标Pi；
S2-建立转换矩阵；
建立相机坐标系到机器人末端坐标系的转换矩阵Hce，转换矩阵Hce的数学模型如下列公式所示：
Figure DEST_PATH_IMAGE001
其中，θ为相机成像的图像坐标系相对于机器人末端坐标系的旋转角度，tx、ty为相机中心相对于机器人末端坐标系原点的平移；
S3-计算标定结果；
鉴于标定物的像素坐标到相机成像的图像坐标系存在唯一的转换关系Hic，机器人在姿态A和姿态B时标定物的像素坐标到机器人末端坐标系存在唯一的转换关系Pw，机器人在姿态A和姿态B时机器人末端坐标系到机器人坐标系存在唯一的转换关系Hew，通过转换矩阵Hce建立标定物的像素坐标到机器人末端坐标系的转换关系Pw，其中Pw=Hew*Hce*Hic*Pi，再结合机器人在姿态C采集的位姿参数rpos和标定物在相机成像的图像坐标系中的坐标Pi，据此推导出转换矩阵Hce中的tx、ty、θ的求解，得出完善后的转换矩阵Hce，完成机器人末端相机的标定。
与现有技术相比，本发明的有益效果在于：
通过机器人以姿态A、姿态B、姿态C一共采集三组数据即可完成机器人末端相机的标定，标定可靠，并且操作简单、方便。
下面结合说明书附图和具体实施方式对本发明进一步进行说明。
附图说明
图1是本发明的原理示意图。
具体实施方式
如图1所示，一种机器人末端相机的标定方法，采用如下步骤：
S1-标定数据采集；
在白色纸片1上打印一个标定物i；
控制机器人2以姿态A使标定物i的中心与相机成像的图像中心对准，控制机器人2以姿态B使标定物i的中心与相机成像的图像中心对准，控制机器人2以姿态C使标定物i出现在相机成像的图像左上或右上或左下或右下，在姿态A、姿态B、姿态C三种情形下分别采集机器人2的位姿参数rpos和标定物i在相机成像的图像坐标系CSYS1中的坐标Pi；
S2-建立转换矩阵；
建立相机坐标系CSYS2到机器人末端坐标系CSYS3的转换矩阵Hce，转换矩阵Hce的数学模型如下列公式所示：
Figure DEST_PATH_IMAGE002
其中，θ为相机成像的图像坐标系CSYS1相对于机器人末端坐标系CSYS3的旋转角度，tx、ty为相机中心相对于机器人末端坐标系CSYS3原点的平移；
S3-计算标定结果；
鉴于标定物i的像素坐标到相机成像的图像坐标系CSYS1存在唯一的转换关系Hic，机器人2在姿态A和姿态B时标定物i的像素坐标到机器人末端坐标系CSYS3存在唯一的转换关系Pw，机器人2在姿态A和姿态B时机器人末端坐标系CSYS3到机器人坐标系CSYS4存在唯一的转换关系Hew，通过转换矩阵Hce建立标定物i的像素坐标到机器人末端坐标系CSYS3的转换关系Pw，其中Pw=Hew*Hce*Hic*Pi，再结合机器人2在姿态C采集的位姿参数rpos和标定物i在相机成像的图像坐标系CSYS1中的坐标Pi，据此推导出转换矩阵Hce中的tx、ty、θ的求解，得出完善后的转换矩阵Hce，完成机器人末端相机的标定。
具体的，在步骤S1中，控制机器人2以姿态A使标定物i的中心与相机成像的图像中心对准，采集机器人2的位姿参数rpos_a和标定物i在相机成像的图像坐标系CSYS1中的坐标Pi_a；
控制机器人2以姿态B使标定物i的中心与相机成像的图像中心对准，采集机器人2的位姿参数rpos_b和标定物i在相机成像的图像坐标系CSYS1中的坐标Pi_b；
控制机器人2以姿态C使标定物i出现在相机成像的图像左上或右上或左下或右下，采集机器人2的位姿参数rpos_c和标定物i在相机成像的图像坐标系CSYS1中的坐标Pi_c。
具体的，在步骤S3中，鉴于机器人2在姿态A时标定物i的像素坐标到机器人末端坐标系CSYS3存在唯一的转换关系Pw_a，机器人2在姿态A时机器人末端坐标系CSYS3到机器人坐标系CSYS4存在唯一的转换关系AHew，机器人2在姿态B时机器人末端坐标系CSYS3到机器人坐标系CSYS4存在唯一的转换关系BHew，建立Pw_a的数学模型，Pw_a的数学模型如下列公式所示：
Pw_a=AHew*Hce*Hic*Pi_a=BHew*Hce*Hic*Pi_b；
鉴于机器人2在姿态A和姿态B时标定物i的中心与相机成像的图像中心对准，即Pi_a,Pi_b位于相机成像的图像中心,也就是相机成像的图像坐标系CSYS1的原点，得出机器人2在姿态A和姿态B时θ的角度为0度、Pi=Pi_a=Pi_b，依据Pw_a的数学模型得出转换矩阵Hce中的tx、ty的计算方式如下：
Figure DEST_PATH_IMAGE003
完成tx,ty计算后，代入Pw_a的数学模型可求解出Pw_a；
鉴于机器人2在姿态C时标定物i在相机成像的图像左上或右上或左下或右下，机器人2在姿态C时标定物i的像素坐标到机器人末端坐标系CSYS3的转换关系为Pw_c，其中Pw_c=CHew*Hce*Hic*Pi_c，将转换矩阵Hce代入Pw_c得到：
Figure DEST_PATH_IMAGE004
其中CHew系机器人2在姿态C时机器人末端坐标系CSYS3到机器人坐标系CSYS4的转换关系；
又鉴于Pw_c=Pw_a，进而求解出角度θ，至此完成tx、ty、θ的求解，得出完善后的转换矩阵Hce，完成机器人末端相机的标定。
在上述技术方案中，Hic由相机的像素分辨率计算得出，具体实施时可以用已知尺寸的标定物i来计算。
作为上述技术方案的进一步改进，还包括如下步骤：
S4-误差评价；
步骤S4中，依据完善后的转换矩阵Hce，通过rpos_a、rpos_b、rpos_c、Pi_a、Pi_b、Pi_c分别计算出机器人2在姿态A、姿态B、姿态C时标定物ii的像素坐标对应的机器人末端坐标计算值，机器人末端坐标计算值与机器人2在姿态A、姿态B、姿态C时标定物i的像素坐标对应的机器人末端坐标实际值之差作为误差评价参考值。
对于本领域技术人员而言，本发明的保护范围并不限于上述示范性实施例的细节，在没有背离本发明的精神或基本特征的情况下，本领域技术人员基于本发明的要件所做出的等同含义和保护范围内的所有变化的实施方式均应囊括在本发明之内。

Claims (2)

1.一种机器人末端相机的标定方法，其特征在于，采用如下步骤：
S1-标定数据采集；
在白色纸片上打印一个标定物；
控制机器人以姿态A使标定物的中心与相机成像的图像中心对准，控制机器人以姿态B使标定物的中心与相机成像的图像中心对准，控制机器人以姿态C使标定物出现在相机成像的图像左上或右上或左下或右下，在姿态A、姿态B、姿态C三种情形下分别采集机器人的位姿参数rpos和标定物在相机成像的图像坐标系中的坐标Pi；
在步骤S1中，控制机器人以姿态A使标定物的中心与相机成像的图像中心对准，采集机器人的位姿参数rpos_a和标定物在相机成像的图像坐标系中的坐标Pi_a；
控制机器人以姿态B使标定物的中心与相机成像的图像中心对准，采集机器人的位姿参数rpos_b和标定物在相机成像的图像坐标系中的坐标Pi_b；
控制机器人以姿态C使标定物出现在相机成像的图像左上或右上或左下或右下，采集机器人的位姿参数rpos_c和标定物在相机成像的图像坐标系中的坐标Pi_c；
S2-建立转换矩阵；
建立相机坐标系到机器人末端坐标系的转换矩阵Hce，转换矩阵Hce的数学模型如下列公式所示：
Figure 365368DEST_PATH_IMAGE001
其中，θ为相机成像的图像坐标系相对于机器人末端坐标系的旋转角度，tx、ty为相机中心相对于机器人末端坐标系原点的平移；
S3-计算标定结果；
鉴于标定物的像素坐标到相机成像的图像坐标系存在唯一的转换关系Hic，机器人在姿态A和姿态B时标定物的像素坐标到机器人末端坐标系存在唯一的转换关系Pw，机器人在姿态A和姿态B时机器人末端坐标系到机器人坐标系存在唯一的转换关系Hew，通过转换矩阵Hce建立标定物的像素坐标到机器人末端坐标系的转换关系Pw，其中Pw=Hew*Hce*Hic*Pi，再结合机器人在姿态C采集的位姿参数rpos和标定物在相机成像的图像坐标系中的坐标Pi，据此推导出转换矩阵Hce中的tx、ty、θ的求解，得出完善后的转换矩阵Hce，完成机器人末端相机的标定；
在步骤S3中，鉴于机器人在姿态A时标定物的像素坐标到机器人末端坐标系存在唯一的转换关系Pw_a，机器人在姿态A时机器人末端坐标系到机器人坐标系存在唯一的转换关系AHew，机器人在姿态B时机器人末端坐标系到机器人坐标系存在唯一的转换关系BHew，建立Pw_a的数学模型，Pw_a的数学模型如下列公式所示：
Pw_a=AHew*Hce*Hic*Pi_a=BHew*Hce*Hic*Pi_b
鉴于机器人在姿态A和姿态B时标定物的中心与相机成像的图像中心对准，即Pi_a,Pi_b位于相机成像的图像中心,也就是相机成像的图像坐标系的原点，得出机器人在姿态A和姿态B时θ的角度为0度、Pi=Pi_a=Pi_b，依据Pw_a的数学模型得出转换矩阵Hce中的tx、ty的计算方式如下：
Figure 141563DEST_PATH_IMAGE002
完成tx,ty计算后，代入Pw_a的数学模型可求解出Pw_a；
鉴于机器人在姿态C时标定物在相机成像的图像左上或右上或左下或右下，机器人在姿态C时标定物的像素坐标到机器人末端坐标系的转换关系为Pw_c，其中Pw_c=CHew*Hce*Hic*Pi_c，将转换矩阵Hce代入Pw_c得到：
Figure 609716DEST_PATH_IMAGE003
其中CHew系机器人在姿态C时机器人末端坐标系到机器人坐标系的转换关系；
又鉴于Pw_c=Pw_a，进而求解出角度θ，至此完成tx、ty、θ的求解，得出完善后的转换矩阵Hce，完成机器人末端相机的标定。
2.如权利要求1所述的一种机器人末端相机的标定方法，其特征在于，还包括如下步骤：
S4-误差评价；
依据完善后的转换矩阵Hce，通过rpos_a、rpos_b、rpos_c、Pi_a、Pi_b、Pi_c分别计算出机器人在姿态A、姿态B、姿态C时标定物的像素坐标对应的机器人末端坐标计算值，机器人末端坐标计算值与机器人在姿态A、姿态B、姿态C时标定物的像素坐标对应的机器人末端坐标实际值之差作为误差评价参考值。
CN202110542449.0A 2021-05-18 2021-05-18 一种机器人末端相机的标定方法 Active CN113240751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110542449.0A CN113240751B (zh) 2021-05-18 2021-05-18 一种机器人末端相机的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110542449.0A CN113240751B (zh) 2021-05-18 2021-05-18 一种机器人末端相机的标定方法

Publications (2)

Publication Number Publication Date
CN113240751A CN113240751A (zh) 2021-08-10
CN113240751B true CN113240751B (zh) 2023-01-17

Family

ID=77135130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110542449.0A Active CN113240751B (zh) 2021-05-18 2021-05-18 一种机器人末端相机的标定方法

Country Status (1)

Country Link
CN (1) CN113240751B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345943B (zh) * 2022-08-08 2024-04-16 恩纳基智能装备(无锡)股份有限公司 一种基于差模概念的标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767393A (zh) * 2015-11-20 2017-05-31 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN110246193A (zh) * 2019-06-20 2019-09-17 南京博蓝奇智能科技有限公司 工业机器人末端相机在线标定方法
CN110640745A (zh) * 2019-11-01 2020-01-03 苏州大学 基于视觉的机器人自动标定方法、设备和存储介质
CN110666798A (zh) * 2019-10-11 2020-01-10 华中科技大学 一种基于透视变换模型的机器人视觉标定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245599A (zh) * 2019-06-10 2019-09-17 深圳市超准视觉科技有限公司 一种智能三维焊缝自主寻迹方法
CN110653820B (zh) * 2019-09-29 2022-11-01 东北大学 一种结合几何约束的机器人抓取位姿估计方法
CN111127568B (zh) * 2019-12-31 2023-07-04 南京埃克里得视觉技术有限公司 一种基于空间点位信息的相机位姿标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767393A (zh) * 2015-11-20 2017-05-31 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN110246193A (zh) * 2019-06-20 2019-09-17 南京博蓝奇智能科技有限公司 工业机器人末端相机在线标定方法
CN110666798A (zh) * 2019-10-11 2020-01-10 华中科技大学 一种基于透视变换模型的机器人视觉标定方法
CN110640745A (zh) * 2019-11-01 2020-01-03 苏州大学 基于视觉的机器人自动标定方法、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Simultaneous Hand-Eye Calibration Method for Hybrid Eye-in-Hand/Eye-to-Hand System;Shunan Ren et al.;《IEEE》;20180926;第568-573页 *
一种基于EIH 的装配机器人标定方法;李兵 等;《机械工程学报》;20180430;第54卷(第7期);第38-44页 *

Also Published As

Publication number Publication date
CN113240751A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2022142759A1 (zh) 一种激光雷达与相机联合标定方法
JP7072759B2 (ja) マルチセンサによる複合キャリブレーション装置及び方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN111300422B (zh) 基于视觉图像的机器人工件抓取位姿误差补偿方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN110103217B (zh) 工业机器人手眼标定方法
CN110276806B (zh) 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN111089569B (zh) 一种基于单目视觉的大型箱体测量方法
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
CN110717943A (zh) 用于二维平面的眼在手上机械手手眼标定方法及系统
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN112223285B (zh) 一种基于组合测量的机器人手眼标定方法
CN109940626B (zh) 一种基于机器人视觉的画眉机器人系统的控制方法
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
CN105716542A (zh) 一种基于柔性特征点的三维数据拼接方法
CN109465830B (zh) 机器人单目立体视觉标定系统及方法
CN110238820A (zh) 基于特征点的手眼标定方法
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN117817667B (zh) 一种基于svd分解法的机械臂末端姿态调整方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN113240751B (zh) 一种机器人末端相机的标定方法
CN115042175A (zh) 一种机器人机械臂末端姿态的调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 901, Building 4, No. 188 Kaiyuan Avenue, Huangpu District, Guangzhou City, Guangdong Province, 510000

Applicant after: Guangzhou Huiju Intelligent Technology Co.,Ltd.

Address before: 510000 303, No. 18, Nanpu Road, Huangpu District, Guangzhou City, Guangdong Province (office only)

Applicant before: Guangzhou Huiju Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant