CN114559430A - 关节机械手配合视觉系统的自动标定方法 - Google Patents

关节机械手配合视觉系统的自动标定方法 Download PDF

Info

Publication number
CN114559430A
CN114559430A CN202210198044.4A CN202210198044A CN114559430A CN 114559430 A CN114559430 A CN 114559430A CN 202210198044 A CN202210198044 A CN 202210198044A CN 114559430 A CN114559430 A CN 114559430A
Authority
CN
China
Prior art keywords
manipulator
screw hole
joint
pixel coordinates
calibration method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210198044.4A
Other languages
English (en)
Other versions
CN114559430B (zh
Inventor
黎伟权
王后方
罗祥祝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuangyi Photoelectric Technology Co ltd
Original Assignee
Shenzhen Shuangyi Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuangyi Photoelectric Technology Co ltd filed Critical Shenzhen Shuangyi Photoelectric Technology Co ltd
Priority to CN202210198044.4A priority Critical patent/CN114559430B/zh
Publication of CN114559430A publication Critical patent/CN114559430A/zh
Application granted granted Critical
Publication of CN114559430B publication Critical patent/CN114559430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及视觉定位技术领域，特别涉及关节机械手配合视觉系统的自动标定方法，移动机械手，使安装在机械手第二臂的相机能观察到螺丝孔，记为起始位，机械手做J1、J2的关节运动，记录运动前后的螺丝孔像素坐标，机械手回到起始位，引导机械手做世界坐标运动，移动多处位置，并记录运动后的螺丝孔像素坐标，完成基于起始位置的相机与机械手位置标定。与现有技术相比，本发明的关节机械手配合视觉系统的自动标定方法节省运动轴资源，减免了因要为添置固定标定平台从而给设备结构带来的额外空间资源、硬件资源等，以实际产品螺丝孔为视觉目标，配合镜头焦距与光源调节，更利于适应不同高度的产品加工。

Description

关节机械手配合视觉系统的自动标定方法
【技术领域】
本发明涉及视觉定位技术领域，特别涉及关节机械手配合视觉系统的自动标定方法。
【背景技术】
现有的相机与机械手标定方法存在以下缺陷：
1、标定要求保持相机姿态不变，相机须安装在机械手的θ轴，但一般地机械手的θ轴兼具锁螺丝功能，安装相机将导致旋转运动受限。
2、相机安装在机械手第二臂上，相机姿态随运动改变，现有的方法是制作一幅标定宫格点阵图。相机一次抓取所有的视觉坐标点，接着引导机械手依次戳点点阵图中的点。形成像素坐标与机械手物理坐标点对完成标定。此方法局限性很大，在于锁螺丝的面并非只有平面，如显示器后盖为弧面，难以平放宫格点阵图。为此，也有方法是固定添置一工作平面专门用以放置宫格点阵图，但是这将给设备结构设计带来负担，并且需要升降工作平面以保持与产品螺丝孔位同一高度，操作较复杂。
【发明内容】
为了克服上述问题，本发明提出一种可有效解决上述问题的关节机械手配合视觉系统的自动标定方法。
本发明解决上述技术问题提供的一种技术方案是：提供一种关节机械手配合视觉系统的自动标定方法，包括如下步骤：
步骤S1，移动机械手，使安装在机械手第二臂的相机能观察到螺丝孔，记为起始位；
步骤S2，机械手做J1、J2的关节运动，记录运动前后的螺丝孔像素坐标；
步骤S3，机械手回到起始位，引导机械手做世界坐标运动，移动多处位置，并记录运动后的螺丝孔像素坐标；
步骤S4，完成基于起始位置的相机与机械手位置标定。
优选地，所述步骤S1中，包括如下步骤：
步骤S11，移动机械手，使螺丝孔位尽量地出现在视野中心位置；
步骤S12，调整镜头焦距与光源亮度，使目标成像清晰；
步骤S13，相机抓取螺丝孔的像素坐标；
步骤S14，读回机械手目前的世界坐标XY及J1、J2关节的角度。
优选地，所述步骤S2中，包括如下步骤：
步骤S21，机械手做关节运动J1旋转角度A；
步骤S22，机械手做关节运动J2旋转角度-A；
步骤S23，相机抓取螺丝孔的像素坐标；
步骤S24，读回机械手的世界坐标XY。
优选地，所述步骤S3中，包括如下步骤：
步骤S31，控制机械手做世界坐标运动至P0位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；
步骤S32，控制机械手做世界坐标运动至P1位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；
步骤S33，控制机械手做世界坐标运动至Pn位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度。
优选地，所述步骤S4中，包括如下步骤：
步骤S41，根据步骤S2得到的数据求得比例与角度；
步骤S42，利用比例与角度，结合运动点P0、P1……Pn，求出在起始位置时，机械手点位在相机坐标系中的位置。
与现有技术相比，本发明的关节机械手配合视觉系统的自动标定方法满足相机安装在第二臂，从而节省运动轴资源；减免了因要为添置固定标定平台从而给设备结构带来的额外空间资源、硬件资源等；以实际产品螺丝孔为视觉目标，配合镜头焦距与光源调节，更利于适应不同高度的产品加工。
【附图说明】
图1为本发明关节机械手配合视觉系统的自动标定方法的总体流程图；
图2为本发明关节机械手配合视觉系统的自动标定方法的步骤S1流程图；
图3为本发明关节机械手配合视觉系统的自动标定方法的步骤S2流程图；
图4为本发明关节机械手配合视觉系统的自动标定方法的步骤S3流程图；
图5为本发明关节机械手配合视觉系统的自动标定方法的步骤S4流程图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅限于指定视图上的相对位置，而非绝对位置。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
请参阅图1至图5，本发明的关节机械手配合视觉系统的自动标定方法，包括如下步骤：
步骤S1，移动机械手，使安装在机械手第二臂的相机能观察到螺丝孔，记为起始位。螺丝孔是一个目标标记点，做靶标标记用。
所述步骤S1中，包括如下步骤：
步骤S11，移动机械手，使螺丝孔位尽量地出现在视野中心位置；
步骤S12，调整镜头焦距与光源亮度，使目标成像清晰；
步骤S13，相机抓取螺丝孔的像素坐标；
步骤S14，读回机械手目前的世界坐标XY及J1、J2关节的角度。J1、J2为机械手的两个关节。
步骤S2，机械手做J1、J2的关节运动，记录运动前后的螺丝孔像素坐标。
所述步骤S2中，包括如下步骤：
步骤S21，机械手做关节运动J1旋转角度A；该角度A，以J1与J2分别旋转对应度数后，螺丝孔仍在视野内为准；一般的应用场景，关节机械手总长为400mm，该角度取±2度；
步骤S22，机械手做关节运动J2旋转角度-A；
步骤S23，相机抓取螺丝孔的像素坐标；
步骤S24，读回机械手的世界坐标XY。
步骤S3，机械手回到起始位，引导机械手做世界坐标运动，移动多处位置，并记录运动后的螺丝孔像素坐标。移动的位置是任意的，要求为螺丝孔仍在视野范围内，可通过人工进行机械手试教。
所述步骤S3中，包括如下步骤：
步骤S31，控制机械手做世界坐标运动至P0位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；
步骤S32，控制机械手做世界坐标运动至P1位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；
步骤S33，控制机械手做世界坐标运动至Pn位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；n大于等于2；
所述步骤S3要求记录大于等于2处不同的位置。
步骤S4，完成基于起始位置的相机与机械手位置标定。
所述步骤S4中，包括如下步骤：
步骤S41，根据步骤S2得到的数据求得比例与角度；
所述步骤S41中，根据步骤2中，J1与J2关节分别做相反角度的关节运动，带来的效果是相机进行了平移。令Pixel0、Pixel1为相机平移前后抓取螺丝孔的像素坐标，World0、World1为相机平移前后机械手的工作点位。则：
比例F＝Dist(World0，World1)/Dist(Pixel0，Pixel1)
角度A＝Atan(World0.x–World1.x,World0.y–World1.y)–
Atan(Pixel0.x–Pixel1.x,Pixel0.y–Pixel1.y)
上式中，Dist为求平面两点直线距离算子，Atan为求反正切算子。
步骤S42，利用比例与角度，结合运动点P0、P1……Pn，求出在起始位置时，机械手点位(即旋转中心)在相机坐标系中的位置。
令Dx、Dy、Da为机械手分别处于P0、Pn点位的偏差，Pixel0，Pinxeln为在P0、Pn时抓取的靶标像素坐标；其中Da由J1、J2的关节角度坐标即可得到。利用上面求得的比例F，可反求像素量：
PixelX＝Dx*F；
PixelY＝Dy*F；
令Cx、Cy为机械手点位在相机坐标系中的位置，则有
Pinxeln.X＝(Pixel0.X–Cx)*cos(Da)-(Pixel0.Y–Cy)*sin(Da)+Cx；
Pinxeln.Y＝(Pixel0.X–Cy)*sin(Da)+(Pixel0.Y–Cy)*cos(Da)+Cy；
通过上式可反求Cx、Cy。通过P1…Pn求出多组Cx、Cy后作平均值。
由于相机安装在第二臂上，机械手移动点位后，导致相机姿势由平移与旋转叠加。利用求得的Cx、Cy可计算抵消旋转效果，得到相机平移时的靶标估计像素坐标。并利用纠正的靶标像素坐标与机械手点位完成宫格映射标定，最终完成相机坐标系与机械手坐标系的标定。
与现有技术相比，本发明的关节机械手配合视觉系统的自动标定方法满足相机安装在第二臂，从而节省运动轴资源；减免了因要为添置固定标定平台从而给设备结构带来的额外空间资源、硬件资源等；以实际产品螺丝孔为视觉目标，配合镜头焦距与光源调节，更利于适应不同高度的产品加工。
以上所述仅为本发明的较佳实施例，并非因此限制本发明的专利范围，凡是在本发明的构思之内所作的任何修改，等同替换和改进等均应包含在本发明的专利保护范围内。

Claims (5)

1.关节机械手配合视觉系统的自动标定方法，其特征在于，包括如下步骤：
步骤S1，移动机械手，使安装在机械手第二臂的相机能观察到螺丝孔，记为起始位；
步骤S2，机械手做J1、J2的关节运动，记录运动前后的螺丝孔像素坐标；
步骤S3，机械手回到起始位，引导机械手做世界坐标运动，移动多处位置，并记录运动后的螺丝孔像素坐标；
步骤S4，完成基于起始位置的相机与机械手位置标定。
2.如权利要求1所述的关节机械手配合视觉系统的自动标定方法，其特征在于，所述步骤S1中，包括如下步骤：
步骤S11，移动机械手，使螺丝孔位尽量地出现在视野中心位置；
步骤S12，调整镜头焦距与光源亮度，使目标成像清晰；
步骤S13，相机抓取螺丝孔的像素坐标；
步骤S14，读回机械手目前的世界坐标XY及J1、J2关节的角度。
3.如权利要求1所述的关节机械手配合视觉系统的自动标定方法，其特征在于，所述步骤S2中，包括如下步骤：
步骤S21，机械手做关节运动J1旋转角度A；
步骤S22，机械手做关节运动J2旋转角度-A；
步骤S23，相机抓取螺丝孔的像素坐标；
步骤S24，读回机械手的世界坐标XY。
4.如权利要求1所述的关节机械手配合视觉系统的自动标定方法，其特征在于，所述步骤S3中，包括如下步骤：
步骤S31，控制机械手做世界坐标运动至P0位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；
步骤S32，控制机械手做世界坐标运动至P1位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度；
步骤S33，控制机械手做世界坐标运动至Pn位置，记录目标像素坐标并读回机械手世界坐标XY和J1、J2角度。
5.如权利要求1所述的关节机械手配合视觉系统的自动标定方法，其特征在于，所述步骤S4中，包括如下步骤：
步骤S41，根据步骤S2得到的数据求得比例与角度；
步骤S42，利用比例与角度，结合运动点P0、P1……Pn，求出在起始位置时，机械手点位在相机坐标系中的位置。
CN202210198044.4A 2022-03-01 2022-03-01 关节机械手配合视觉系统的自动标定方法 Active CN114559430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210198044.4A CN114559430B (zh) 2022-03-01 2022-03-01 关节机械手配合视觉系统的自动标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210198044.4A CN114559430B (zh) 2022-03-01 2022-03-01 关节机械手配合视觉系统的自动标定方法

Publications (2)

Publication Number Publication Date
CN114559430A true CN114559430A (zh) 2022-05-31
CN114559430B CN114559430B (zh) 2024-06-25

Family

ID=81715032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210198044.4A Active CN114559430B (zh) 2022-03-01 2022-03-01 关节机械手配合视觉系统的自动标定方法

Country Status (1)

Country Link
CN (1) CN114559430B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177845A (ja) * 2010-03-02 2011-09-15 Seiko Epson Corp ロボットのキャリブレーション方法及びロボット用キャリブレーション装置
JP2019119005A (ja) * 2018-01-05 2019-07-22 株式会社Ｆｄｋエンジニアリング 部品組付装置の較正方法
CN110148187A (zh) * 2019-06-04 2019-08-20 郑州大学 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN110490942A (zh) * 2019-08-23 2019-11-22 苏州精速智能科技有限公司 一种基于scara机械手第二臂的移动相机标定方法
CN110788863A (zh) * 2019-11-22 2020-02-14 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177845A (ja) * 2010-03-02 2011-09-15 Seiko Epson Corp ロボットのキャリブレーション方法及びロボット用キャリブレーション装置
JP2019119005A (ja) * 2018-01-05 2019-07-22 株式会社Ｆｄｋエンジニアリング 部品組付装置の較正方法
CN110148187A (zh) * 2019-06-04 2019-08-20 郑州大学 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN110490942A (zh) * 2019-08-23 2019-11-22 苏州精速智能科技有限公司 一种基于scara机械手第二臂的移动相机标定方法
CN110788863A (zh) * 2019-11-22 2020-02-14 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法

Also Published As

Publication number Publication date
CN114559430B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN109940603B (zh) 一种巡检机器人的到点误差补偿控制方法
CN110332884B (zh) 上、下ccd相机对位引导方法
CN109739239B (zh) 一种用于巡检机器人的不间断仪表识别的规划方法
WO2020024178A1 (zh) 一种手眼标定方法、系统及计算机存储介质
CN111673735A (zh) 一种基于单目视觉定位的机械臂控制方法及装置
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN111862220B (zh) Uvw平台标定的修正方法、装置、纠偏方法及对位系统
CN110238820A (zh) 基于特征点的手眼标定方法
CN111024047B (zh) 基于正交双目视觉的六自由度位姿测量装置及方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN106272437A (zh) 一种用于并联机器人双目视觉定位的最优视场求取装置
WO2020063058A1 (zh) 一种多自由度可动视觉系统的标定方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN112365502B (zh) 一种基于视觉图像缺陷检测的标对方法
CN112950724A (zh) 丝印视觉标定方法及装置
CN114034205B (zh) 一种箱体装填系统及装填方法
CN113781558B (zh) 一种姿态与位置解耦的机器人视觉寻位方法
CN114494449A (zh) 一种异形产品贴合的视觉标定及对位贴合方法
CN114559430A (zh) 关节机械手配合视觉系统的自动标定方法
CN112598752A (zh) 基于视觉识别的标定方法及作业方法
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN110815177A (zh) 一种复合机器人2d视觉引导示教的迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant