CN110202573B - 全自动手眼标定、工作平面标定方法及装置 - Google Patents

全自动手眼标定、工作平面标定方法及装置 Download PDF

Info

Publication number
CN110202573B
CN110202573B CN201910479456.3A CN201910479456A CN110202573B CN 110202573 B CN110202573 B CN 110202573B CN 201910479456 A CN201910479456 A CN 201910479456A CN 110202573 B CN110202573 B CN 110202573B
Authority
CN
China
Prior art keywords
calibration
calibration plate
mechanical arm
pose
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910479456.3A
Other languages
English (en)
Other versions
CN110202573A (zh
Inventor
肖淑英
温培刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhijin Information Technology Co ltd
Original Assignee
Shanghai Zhijin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhijin Information Technology Co ltd filed Critical Shanghai Zhijin Information Technology Co ltd
Priority to CN201910479456.3A priority Critical patent/CN110202573B/zh
Publication of CN110202573A publication Critical patent/CN110202573A/zh
Application granted granted Critical
Publication of CN110202573B publication Critical patent/CN110202573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明涉及一种全自动手眼标定、工作平面标定方法及装置，该方法包括以下步骤：自动曝光，以保证标定板能被识别；获取机械臂的位姿、标定板图像数据，并通过自动路径规划方法来计算机械臂的下一个位姿；判断是否至少有九张覆盖了整个图像视野的标定板图像，如果没有继续采集位姿和标定板图像，否则，根据位姿数据、标定板图像数据计算手眼关系矩阵，同时标定出相机内参、当前工作平面，给出标定结果的重投影误差；本发明同现有技术相比，实现了一键自动手眼标定、工作平面标定，减少了标定过程中的人工干预，可以有效地提高标定的精度，提供了标定的重投影误差，标定结果的评价更明确，且操作简便，有效改善了现有技术存在的问题。

Description

全自动手眼标定、工作平面标定方法及装置
[技术领域]
本发明涉及机器人标定技术领域，具体地说是一种全自动手眼标定、工作平面标定方法及装置。
[背景技术]
目前，现有视觉引导系统中，标定是一项基础且关键的问题。标定分为两类：一是三维空间的手眼标定，直接标定出相机坐标系和机器人坐标系的关系矩阵，将视觉识别的位置信息转换到机器人坐标系下；二是将三维空间的问题转化为二维平面的问题，进行工作平面标定，标定出图像平面和工作平面的关系，将图像坐标转换为机器人坐标。以下介绍四种现有的机器人手眼标定方案：
第一种方案，提出了工业六轴机器人的eye-in-hand标定方法。机器人变换两个姿态，识别各个姿态的特征点和坐标点在相机坐标系下的坐标值，计算得出相机到机器人的坐标变换关系。
第二种方案，首先在基准工件上贴上标定板，然后建立视觉坐标系并计算基准工件上所有点在视觉坐标系下的坐标，再将基准工件和标定板移动到机器人工位下，通过视觉坐标系和机器人坐标系的转换，最终得到基准工件上所有点的坐标。
第三种方案，一种基于指数积模型手眼机器人自动标定方法。使用一面镜子和若干觇标，利用利用了镜子的反射原理将末端相机视野范围外的手部信息转换到相机坐标系下，完成手眼标定。
第四种方案，使用标定板，获取机械手位姿，在多个位姿下采集标定板图像，根据预设的球面路径来进行标定数据的采集并计算，最终完成手眼标定。
以上四种方案均存在一定的不足：第一种方案虽然只需要两次机器人姿态变换就可以计算出相机相对于机器人的变换矩阵，但是标定过程中需要人工干预设定机器人的姿态；相机内参需要事先标定。第二种方案标定过程全程需要人工干预，标定流程复杂，精度无法保证；相机内参需要事先标定。第三种方案除标定板外还需要额外的镜子作为辅助设施。第一种至第三种方案中没有对标定结果没有量化指标；标定过程中不能提供避障功能。第四种方案需要根据严格的预设球面路径进行数据采集，工作平面一旦改变，需要重新进行复杂的手眼标定。
[发明内容]
本发明的目的就是要解决上述的不足而提供一种全自动手眼标定、工作平面标定方法，减少了标定过程中的人工干预，可以有效地提高标定的精度，有效改善了现有技术存在的问题。
为实现上述目的设计一种全自动手眼标定、工作平面标定方法，包括以下步骤：1)自动曝光，以保证标定板能被识别；2)获取机械臂末端当前位姿、标定板图像数据，并通过自动路径规划方法计算机械臂末端下一个位姿；3)判断是否至少有九张覆盖了整个图像视野的标定板图像；4)若没有，则继续采集机械臂位姿和标定板图像；若有，则根据机械臂位姿数据、标定板图像数据计算手眼关系矩阵，同时标定出相机内参、当前工作平面，给出标定结果的重投影误差。
进一步地，步骤2)中，所述自动路径规划方法中，机械臂在安全范围内往9或16个方向运动，每个方向进行编号，相反的方向编号相邻，搜索标定板图像可被识别的位姿，搜索到后，记录该位姿和图像。
进一步地，步骤2)中，所述自动路径规划方法的步骤为：a)获取某方向i路径搜索范围(Amin,Amax)及步长，图像的尺寸(Width,Height)；b)机械臂运动往i方向Amax步，采集标定板图像；c)判断标定板图像是否落在以下范围：以图像中心点(Width/2,Height/2)为中心，宽度为Width/4，高度为Height/4的矩形外，且在视野内部；d)若不是，则用二分法计算新的步数及方向，机械臂运动并采集标定板图像，并返回至步骤c)；e)若是，则进入步骤3)。
进一步地，步骤4)之后，将标定板放置于任意可以到达的工作平面，获取机械臂当前位姿、标定板图像数据，计算出工作平面在相机坐标系下的位姿，实现一眼标定新的工作平面。
本发明还提供了一种全自动手眼标定、工作平面标定装置，包括嵌入式控制系统一110、机械臂120、嵌入式控制系统二130、图像采集卡140、显示屏150、标定板160，所述嵌入式控制系统一110用于控制机械臂120，所述嵌入式控制系统二130用于控制图像采集卡140，所述图像采集卡140与标定板160相连，所述嵌入式控制系统一110与嵌入式控制系统二130之间通过以太网、串口或ModBus协议网络连接，所述嵌入式控制系统一110、嵌入式控制系统二130分别连接显示屏150，并通过显示屏150进行参数配置。
进一步地，所述嵌入式控制系统一110、嵌入式控制系统二130合二为一为一套嵌入式系统，或者为一套基于PC的控制系统。
进一步地，所述标定板160是实心圆和空心圆构成的非对称阵列，其圆点尺寸根据视野、精度要求来计算。
本发明同现有技术相比，实现了一键自动手眼标定、工作平面标定，减少了标定过程中的人工干预，可以有效地提高标定的精度，提供了标定的重投影误差，标定结果的评价更明确；而且，操作简便，不需要机器人、视觉相关的专业知识，手眼标定时间控制在90秒内，工作平面标定在300ms内完成，大大提高了视觉引导系统的标定效率；此外，将标定板置于工件表面，可实现基于单目视觉的动态跟踪，可有效改善现有技术存在的问题，值得推广应用。
[附图说明]
图1是本发明的结构框图；
图2是本发明手眼标定方法的流程图；
图3是本发明自动路径规划方法的子流程图；
图4是本发明工作平面标定方法的流程图；
图5是本发明标定板结构示意图；
图中：110、嵌入式控制系统一120、机械臂130、嵌入式控制系统二140、图像采集卡150、显示屏160、标定板。
[具体实施方式]
下面结合附图对本发明作以下进一步说明：
本发明提供了一种全自动手眼标定、工作平面标定方法，包括以下步骤：1)自动曝光，以保证标定板能被识别；2)获取机械臂末端当前位姿、标定板图像数据，并通过自动路径规划方法计算机械臂末端下一个位姿；3)判断是否至少有九张覆盖了整个图像视野的标定板图像；4)若没有，则继续采集机械臂位姿和标定板图像；若有，则根据机械臂位姿数据、标定板图像数据计算手眼关系矩阵，同时标定出相机内参、当前工作平面，给出标定结果的重投影误差。
步骤2)中，自动路径规划方法中，机械臂在安全范围内往9或16个方向运动，每个方向进行编号，相反的方向编号相邻，搜索标定板图像可被识别的位姿，搜索到后，记录该位姿和图像。该自动路径规划方法的步骤为：a)获取某方向i路径搜索范围(Amin,Amax)及步长，图像的尺寸(Width,Height)；b)机械臂运动往i方向Amax步，采集标定板图像；c)判断标定板图像是否落在以下范围：以图像中心点(Width/2,Height/2)为中心，宽度为Width/4，高度为Height/4的矩形外，且在视野内部；d)若不是，则用二分法计算新的步数及方向，机械臂运动并采集标定板图像，并返回至步骤c)；e)若是，则进入步骤3)。步骤4)之后，将标定板放置于任意可以到达的工作平面，获取机械臂当前位姿、标定板图像数据，计算出工作平面在相机坐标系下的位姿，实现一眼标定新的工作平面。
本发明还提供了一种全自动手眼标定、工作平面标定装置，包括嵌入式控制系统一110、机械臂120、嵌入式控制系统二130、图像采集卡140、显示屏150、标定板160，嵌入式控制系统一110用于控制机械臂120，嵌入式控制系统二130用于控制图像采集卡140，图像采集卡140与标定板160相连，嵌入式控制系统一110与嵌入式控制系统二130之间通过以太网、串口或ModBus协议网络连接，嵌入式控制系统一110、嵌入式控制系统二130分别连接显示屏150，并通过显示屏150进行参数配置。其中，嵌入式控制系统一110、嵌入式控制系统二130合二为一为一套嵌入式系统，或者为一套基于PC的控制系统；标定板160是实心圆和空心圆构成的非对称阵列，其圆点尺寸根据视野、精度要求来计算。
本发明的技术方案是如下实现的：一套嵌入式控制系统控制机械臂，另一套嵌入式控制系统控制图像采集卡，两套嵌入式控制系统间通过以太网连接，但不限于以太网，也可以是串口、ModBus等其他工业现场连接技术，通过一台显示屏进行参数配置。两套嵌入式控制系统也可以合二为一，即为一套嵌入式系统或一套基于PC的控制系统。
如附图2所示的步骤S200：自动曝光，以保证标定板能被识别；获取机械臂的位姿baseHtool、标定板160图像数据，并通过自动路径规划方法S230来计算机械臂的下一个位姿；判断是否至少有九张覆盖了整个图像视野的标定板图像，如果没有继续采集位姿和标定板图像，否则，根据位姿数据、标定板图像数据计算手眼关系矩阵camHtool，同时标定出相机内参K、当前(默认)工作平面baseHworkplane0，给出标定结果的重投影误差Errorreprojection。自动路径规划过程中，让机械臂在一个安全范围内往9或16个方向运动，给每个方向编号(0,...,n)，相反的方向编号相邻，搜索标定板图像可被识别的位姿，搜索到后，记录该位姿和图像。
如附图4所示的步骤S300：基于步骤S200，将标定板160放置于任意可以到达的工作平面，获取机械臂当前位姿baseHtool、标定板图像数据，计算出工作平面在相机坐标系下的位姿camHworkplane，实现一眼标定新的工作平面baseHworkplane。计算公式如下：
Figure BDA0002083324170000061
其中，标定板是实心圆和空心圆构成的非对称阵列，如附图5所示，其圆点尺寸可以根据视野、精度要求来计算，阵列大小(3X3)也可向左上方、右下方扩展成NXN。
本发明并不受上述实施方式的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种全自动手眼标定、工作平面标定方法，其特征在于，包括以下步骤：
1)自动曝光，以保证标定板能被识别；
2)获取机械臂末端当前位姿、标定板图像数据，并通过自动路径规划方法计算机械臂末端下一个位姿；
3)判断是否至少有九张覆盖了整个图像视野的标定板图像；
4)若没有，则继续采集机械臂位姿和标定板图像；若有，则根据机械臂位姿数据、标定板图像数据计算手眼关系矩阵，同时标定出相机内参、当前工作平面，给出标定结果的重投影误差；
步骤2)中，所述自动路径规划方法的步骤为：
a)获取某方向i路径搜索范围(Amin,Amax)及步长，图像的尺寸(Width,Height)；
b)机械臂运动往i方向Amax步，采集标定板图像；
c)判断标定板图像是否落在以下范围：以图像中心点(Width/2,Height/2)为中心，宽度为Width/4，高度为Height/4的矩形外，且在视野内部；
d)若不是，则用二分法计算新的步数及方向，机械臂运动并采集标定板图像，并返回至步骤c)；
e)若是，则进入步骤3)。
2.如权利要求1所述的方法，其特征在于：步骤2)中，所述自动路径规划方法中，机械臂在安全范围内往9或16个方向运动，每个方向进行编号，相反的方向编号相邻，搜索标定板图像可被识别的位姿，搜索到后，记录该位姿和图像。
3.如权利要求1所述的方法，其特征在于：步骤4)之后，将标定板放置于任意可以到达的工作平面，获取机械臂当前位姿、标定板图像数据，计算出工作平面在相机坐标系下的位姿，实现一眼标定新的工作平面。
CN201910479456.3A 2019-06-04 2019-06-04 全自动手眼标定、工作平面标定方法及装置 Active CN110202573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910479456.3A CN110202573B (zh) 2019-06-04 2019-06-04 全自动手眼标定、工作平面标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910479456.3A CN110202573B (zh) 2019-06-04 2019-06-04 全自动手眼标定、工作平面标定方法及装置

Publications (2)

Publication Number Publication Date
CN110202573A CN110202573A (zh) 2019-09-06
CN110202573B true CN110202573B (zh) 2023-04-07

Family

ID=67790599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910479456.3A Active CN110202573B (zh) 2019-06-04 2019-06-04 全自动手眼标定、工作平面标定方法及装置

Country Status (1)

Country Link
CN (1) CN110202573B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110695996B (zh) * 2019-10-14 2022-05-31 扬州大学 一种工业机器人自动手眼标定方法
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN111515944B (zh) * 2020-03-30 2021-09-17 季华实验室 非固定路径机器人自动标定方法
CN112116664A (zh) * 2020-09-04 2020-12-22 季华实验室 手眼标定轨迹生成方法、装置、电子设备及存储介质
CN112489132B (zh) * 2020-11-13 2023-05-05 复旦大学 一种大尺寸物体测量机器人标定系统及方法
CN112743548B (zh) * 2020-12-30 2022-06-07 上海媒智科技有限公司 一种统一两种机械臂手眼标定的方法及系统、终端
CN113172636B (zh) * 2021-06-29 2021-11-02 深圳市越疆科技有限公司 一种自动手眼标定方法、装置及存储介质
CN113664835B (zh) * 2021-09-15 2022-10-14 杭州景吾智能科技有限公司 机器人自动手眼标定方法与系统
CN114290334B (zh) * 2021-12-30 2023-07-07 安徽省配天机器人集团有限公司 标定方法
CN114894116B (zh) * 2022-04-08 2024-02-23 苏州瀚华智造智能技术有限公司 一种测量数据融合方法及非接触式测量设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279949A (zh) * 2013-05-09 2013-09-04 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
EP2983131A1 (en) * 2014-08-06 2016-02-10 Thomson Licensing Method and device for camera calibration
CN106181998A (zh) * 2016-06-27 2016-12-07 上海知津信息科技有限公司 一种机器人视觉定位传感器
CN107498558A (zh) * 2017-09-19 2017-12-22 北京阿丘科技有限公司 全自动手眼标定方法及装置
CN107741224A (zh) * 2017-08-28 2018-02-27 浙江大学 一种基于视觉测量及标定的agv自动调姿定位方法
WO2018076154A1 (zh) * 2016-10-25 2018-05-03 成都通甲优博科技有限责任公司 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
CN108972544A (zh) * 2018-06-21 2018-12-11 华南理工大学 一种视觉激光传感器固定于机器人的手眼标定方法
CN109732601A (zh) * 2019-01-04 2019-05-10 上海交通大学 一种自动标定机器人位姿与相机光轴垂直的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453217B2 (en) * 2016-03-24 2019-10-22 Magna Electronics Inc. Targetless vehicle camera calibration system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279949A (zh) * 2013-05-09 2013-09-04 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
EP2983131A1 (en) * 2014-08-06 2016-02-10 Thomson Licensing Method and device for camera calibration
CN106181998A (zh) * 2016-06-27 2016-12-07 上海知津信息科技有限公司 一种机器人视觉定位传感器
WO2018076154A1 (zh) * 2016-10-25 2018-05-03 成都通甲优博科技有限责任公司 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN107741224A (zh) * 2017-08-28 2018-02-27 浙江大学 一种基于视觉测量及标定的agv自动调姿定位方法
CN107498558A (zh) * 2017-09-19 2017-12-22 北京阿丘科技有限公司 全自动手眼标定方法及装置
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
CN108972544A (zh) * 2018-06-21 2018-12-11 华南理工大学 一种视觉激光传感器固定于机器人的手眼标定方法
CN109732601A (zh) * 2019-01-04 2019-05-10 上海交通大学 一种自动标定机器人位姿与相机光轴垂直的方法和装置

Also Published As

Publication number Publication date
CN110202573A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110202573B (zh) 全自动手眼标定、工作平面标定方法及装置
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN109373898B (zh) 一种基于三维测量点云的复杂零件位姿估计系统及方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109794938B (zh) 一种适用于曲面结构的机器人制孔误差补偿装置及其方法
CN111089569B (zh) 一种基于单目视觉的大型箱体测量方法
CN110509300B (zh) 基于三维视觉引导的钢箍加工上料控制系统及控制方法
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
EP2263837B1 (en) Operation teaching system and operation teaching method
JP4021413B2 (ja) 計測装置
CN108827155B (zh) 一种机器人视觉测量系统及方法
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN110170995B (zh) 一种基于立体视觉的机器人快速示教方法
CN109927036A (zh) 一种三维视觉引导机械手抓取的方法及系统
CN108274092A (zh) 基于三维视觉与模型匹配的坡口自动切割系统及切割方法
CN106041937A (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
WO2022061673A1 (zh) 用于机器人的标定方法和装置
JP2022516852A (ja) オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置
CN112621743B (zh) 机器人及其相机固定于末端的手眼标定方法及存储介质
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN113781558B (zh) 一种姿态与位置解耦的机器人视觉寻位方法
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant