CN111152223A - 一种全自动机器人手眼标定方法 - Google Patents

一种全自动机器人手眼标定方法 Download PDF

Info

Publication number
CN111152223A
CN111152223A CN202010022816.XA CN202010022816A CN111152223A CN 111152223 A CN111152223 A CN 111152223A CN 202010022816 A CN202010022816 A CN 202010022816A CN 111152223 A CN111152223 A CN 111152223A
Authority
CN
China
Prior art keywords
calibration
mechanical arm
camera
image
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010022816.XA
Other languages
English (en)
Inventor
翟昱
马英
代夷帆
姜宇帆
易廷昊
张云涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Efort Intelligent Equipment Co ltd
Original Assignee
Efort Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Efort Intelligent Equipment Co ltd filed Critical Efort Intelligent Equipment Co ltd
Priority to CN202010022816.XA priority Critical patent/CN111152223A/zh
Publication of CN111152223A publication Critical patent/CN111152223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及自动化机器人领域，具体是一种全自动机器人手眼标定方法，包括机器人的系统，其具体步骤如下：S1：数据采集；S2：模式选择；S3：人工安装放置标定板；S4：记录数据；S5：判断是否有足够的标定数据；S6：标定：S7：将机械臂末端姿态转换为末端到机械臂底座的转换矩阵；S8：随机抽取80％的数据，根据公式计算手眼标定矩阵；S9：计算标定结果在所有数据上的误差；S10：重复步骤8和步骤9，记录误差最小的手眼标定矩阵；S11：保存手眼标定结果到文件内，方便其他程序读取和使用；相较于之前人工示教的标定方式动辄半小时的时间花费相比，自动标定可以将标定时间节省到十几分钟甚至更少，节省了大量的时间。

Description

一种全自动机器人手眼标定方法
技术领域
本发明涉及自动化机器人领域，具体是一种全自动机器人手眼标定方法。
背景技术
现有的手眼标定技术中，大多依靠人工采集标定数据，如中国专利申请号为201910386656.4的工业机器人手眼标定方法以及专利申请号为201810541740.4的一种机器人手眼标定方法及系统所述，相较于机器自动化而言更加的费时费力，同时由于人工的参与，在数据的采集中难免会对数据造成影响，进而影响标定结果的精度，而现有的自动标定，如专利申请号为201910479456.3的全自动手眼标定、工作平面标定方法及装置所述，进行全自动化标定，但是过度依赖于固定的工作平面，限制了相机和机械臂的使用方式和操控空间。
发明内容
为了解决上述问题，本发明提出一种全自动机器人手眼标定方法。
一种全自动机器人手眼标定方法，包括机器人的系统，其具体步骤如下：
S1：数据采集；
S2：模式选择：系统在启动后可选择需要的标定模式，分为相机挂在机械臂上和相机固定在机械臂外两种；
S3：人工安装放置标定板：
a：相机在机械臂上模式，需将标定板放在机器人视野内；
b：相机在机械臂外模式，需要将标定板安装到机械臂末端，同时保证标定板在相机视野内，输入标定板的规格，尺寸信息；
S4：记录数据：利用视觉自动对齐标定板中心和图像中心进行数据采集和记录；
S5：判断是否有足够的标定数据：利用角点检测算法计算当前相机图像上内角点数量和输入的标定板尺寸是否匹配来判断图像标定板是否完整：
a：图像完整，记录当前图像和机械臂位姿，再根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量，让机械臂按照上一过程的位移量移动；
b：图像不完整，则直接根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量而不记录图像和机械臂位姿信息，重复以上步骤直到获取足够数量的位姿和图像；
S6：标定：利用张正友标定法计算不同图像中相机与标定板的外参，通过标定板输入信息和图像上标定板角点的位置转换；
S7：将机械臂末端姿态转换为末端到机械臂底座的转换矩阵；
S8：随机抽取80％的数据，根据公式计算手眼标定矩阵；
S9：计算标定结果在所有数据上的误差；
S10：重复步骤8和步骤9，记录误差最小的手眼标定矩阵；
S11：保存手眼标定结果到文件内，方便其他程序读取和使用。
所述的步骤S4中利用角点检测算法计算图像中标定板所有内角点的位置，所有角点的均值记为标定板中心点Pb，再根据图像的尺寸计算图像中心点Pa，由Pa-Pb计算从标定板到画面中心的位移向量
Figure BDA0002361408890000021
控制机械臂移动以1mm为步长，移动X，Y，Z向着
Figure BDA0002361408890000022
减小的方向移动，
Figure BDA0002361408890000023
长度小于设定阈值时认为标定板和画面对齐，记录当前机械臂位置为起始位姿。
所述的步骤S6根据下方公式计算对应图像下相机的外参并转化成标定板到相机的转换矩阵：
Figure BDA0002361408890000024
。
所述的步骤S8的公式为navy算法中的公式。
所述的步骤S9中对于相机在机械臂末端的误差的公式为：
TboardToBase＝TflangeTobase*TcameraToflange*TboardTocamera
Figure BDA0002361408890000031
。
所述的步骤S9中对于相机在机械臂外的误差的公式为：
TboardToBase＝TcameraTobase*TboardTocamera
Figure BDA0002361408890000032
。
本发明的有益效果是：相较于之前人工示教的标定方式动辄半小时的时间花费相比，自动标定可以将标定时间节省到十几分钟甚至更少，节省了大量的时间，同时由于算法中对机器人和相机采集的数据利用爬山法进行优化，使得本方法在不稳定的工作环境下，能获得相对较好的标定结果，不需要固定的工作平台和设备，在工业环境下限制少，更容易在工业环境中部署和使用，同时节省费用。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的流程结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明进一步阐述。
如图1所示，一种全自动机器人手眼标定方法，包括机器人的系统，其具体步骤如下：
S1：数据采集；
S2：模式选择：系统在启动后可选择需要的标定模式，分为相机挂在机械臂上和相机固定在机械臂外两种；
S3：人工安装放置标定板：
a：相机在机械臂上模式，需将标定板放在机器人视野内；
b：相机在机械臂外模式，需要将标定板安装到机械臂末端，同时保证标定板在相机视野内，输入标定板的规格，尺寸信息；
S4：记录数据：利用视觉自动对齐标定板中心和图像中心进行数据采集和记录；
S5：判断是否有足够的标定数据：利用角点检测算法计算当前相机图像上内角点数量和输入的标定板尺寸是否匹配来判断图像标定板是否完整：
a：图像完整，记录当前图像和机械臂位姿，再根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量，让机械臂按照上一过程的位移量移动；
b：图像不完整，则直接根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量而不记录图像和机械臂位姿信息，重复以上步骤直到获取足够数量的位姿和图像；
S6：标定：利用张正友标定法计算不同图像中相机与标定板的外参，通过标定板输入信息和图像上标定板角点的位置转换；
S7：将机械臂末端姿态转换为末端到机械臂底座的转换矩阵；
S8：随机抽取80％的数据，根据公式计算手眼标定矩阵；
S9：计算标定结果在所有数据上的误差；
S10：重复步骤8和步骤9，记录误差最小的手眼标定矩阵；
S11：保存手眼标定结果到文件内，方便其他程序读取和使用。
所述的步骤S4中利用角点检测算法计算图像中标定板所有内角点的位置，所有角点的均值记为标定板中心点Pb，再根据图像的尺寸计算图像中心点Pa，由Pa-Pb计算从标定板到画面中心的位移向量
Figure BDA0002361408890000041
控制机械臂移动以1mm为步长，移动X，Y，Z向着
Figure BDA0002361408890000042
减小的方向移动，
Figure BDA0002361408890000043
长度小于设定阈值时认为标定板和画面对齐，记录当前机械臂位置为起始位姿。
通过步骤S1中将相机挂在机械臂上和相机固定在机械臂外，无需固定的工作台，对标定算法的稳定性较高，结合不同的标定算法可以针对不同的使用环境进行选择，限制少。
根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量，高效快速的自动标定以节省人力和时间，同时保证标定的结果的准确性。
所述的步骤S6根据下方公式计算对应图像下相机的外参并转化成标定板到相机的转换矩阵：
Figure BDA0002361408890000051
。
所述的步骤S8的公式为navy算法中的公式。
相较于之前人工示教的标定方式动辄半小时的时间花费相比，自动标定可以将标定时间节省到十几分钟甚至更少，节省了大量的时间，同时由于算法中对机器人和相机采集的数据利用爬山法进行优化，使得本方法在不稳定的工作环境下，能获得相对较好的标定结果，不需要固定的工作平台和设备，在工业环境下限制少，更容易在工业环境中部署和使用，同时节省费用。
所述的步骤S9中对于相机在机械臂末端的误差的公式为：
TboardToBase＝TflangeTobase*TcameraToflange*TboardTocamera
Figure BDA0002361408890000052
。
所述的步骤S9中对于相机在机械臂外的误差的公式为：
TboardToBase＝TcameraTobase*TboardTocamera
Figure BDA0002361408890000053
。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种全自动机器人手眼标定方法，包括机器人的系统，其特征在于：其具体步骤如下：
S1：数据采集；
S2：模式选择：系统在启动后可选择需要的标定模式，分为相机挂在机械臂上和相机固定在机械臂外两种；
S3：人工安装放置标定板：
a：相机在机械臂上模式，需将标定板放在机器人视野内；
b：相机在机械臂外模式，需要将标定板安装到机械臂末端，同时保证标定板在相机视野内，输入标定板的规格，尺寸信息；
S4：记录数据：利用视觉自动对齐标定板中心和图像中心进行数据采集和记录；
S5：判断是否有足够的标定数据：利用角点检测算法计算当前相机图像上内角点数量和输入的标定板尺寸是否匹配来判断图像标定板是否完整：
a：图像完整，记录当前图像和机械臂位姿，再根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量，让机械臂按照上一过程的位移量移动；
b：图像不完整，则直接根据初始姿态通过高斯分布随机采样生成下一步机械臂需要移动的位移量而不记录图像和机械臂位姿信息，重复以上步骤直到获取足够数量的位姿和图像；
S6：标定：利用张正友标定法计算不同图像中相机与标定板的外参，通过标定板输入信息和图像上标定板角点的位置转换；
S7：将机械臂末端姿态转换为末端到机械臂底座的转换矩阵；
S8：随机抽取80％的数据，根据公式计算手眼标定矩阵；
S9：计算标定结果在所有数据上的误差；
S10：重复步骤8和步骤9，记录误差最小的手眼标定矩阵；
S11：保存手眼标定结果到文件内，方便其他程序读取和使用。
2.根据权利要求1所述的一种全自动机器人手眼标定方法，其特征在于：所述的步骤S4中利用角点检测算法计算图像中标定板所有内角点的位置，所有角点的均值记为标定板中心点Pb，再根据图像的尺寸计算图像中心点Pa，由Pa-Pb计算从标定板到画面中心的位移向量
Figure FDA0002361408880000021
控制机械臂移动以1mm为步长，移动X，Y，Z向着
Figure FDA0002361408880000022
减小的方向移动，
Figure FDA0002361408880000023
长度小于设定阈值时认为标定板和画面对齐，记录当前机械臂位置为起始位姿。
3.根据权利要求1所述的一种全自动机器人手眼标定方法，其特征在于：所述的步骤S6根据下方公式计算对应图像下相机的外参并转化成标定板到相机的转换矩阵：
Figure FDA0002361408880000024
。
4.根据权利要求1所述的一种全自动机器人手眼标定方法，其特征在于：所述的步骤S8的公式为navy算法中的公式。
5.根据权利要求1所述的一种全自动机器人手眼标定方法，其特征在于：所述的步骤S9中对于相机在机械臂末端的误差的公式为：
TboardToBase＝TflangeTobase*TcameraToflange*TboardTocamera
Figure FDA0002361408880000025
。
6.根据权利要求1所述的一种全自动机器人手眼标定方法，其特征在于：所述的步骤S9中对于相机在机械臂外的误差的公式为：
TboardToBase＝TcameraTobase*TboardTocamera
Figure FDA0002361408880000026
。
CN202010022816.XA 2020-01-09 2020-01-09 一种全自动机器人手眼标定方法 Pending CN111152223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010022816.XA CN111152223A (zh) 2020-01-09 2020-01-09 一种全自动机器人手眼标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010022816.XA CN111152223A (zh) 2020-01-09 2020-01-09 一种全自动机器人手眼标定方法

Publications (1)

Publication Number Publication Date
CN111152223A true CN111152223A (zh) 2020-05-15

Family

ID=70562110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010022816.XA Pending CN111152223A (zh) 2020-01-09 2020-01-09 一种全自动机器人手眼标定方法

Country Status (1)

Country Link
CN (1) CN111152223A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116664A (zh) * 2020-09-04 2020-12-22 季华实验室 手眼标定轨迹生成方法、装置、电子设备及存储介质
CN112356057A (zh) * 2020-09-21 2021-02-12 埃夫特智能装备股份有限公司 一种基于多种复杂钣金件的矩阵吸盘的状态规划方法
CN113177983A (zh) * 2021-03-25 2021-07-27 埃夫特智能装备股份有限公司 基于点云几何特征的角焊缝定位方法
CN113664835A (zh) * 2021-09-15 2021-11-19 上海景吾智能科技有限公司 机器人自动手眼标定方法与系统
CN117140518A (zh) * 2023-09-15 2023-12-01 广州市斯睿特智能科技有限公司 一种全自动机器人手眼标定方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN106920261A (zh) * 2017-03-02 2017-07-04 江南大学 一种机器人手眼静态标定方法
US20180089831A1 (en) * 2016-09-28 2018-03-29 Cognex Corporation Simultaneous Kinematic and Hand-Eye Calibration
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
CN109129445A (zh) * 2018-09-29 2019-01-04 先临三维科技股份有限公司 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN109483516A (zh) * 2018-10-16 2019-03-19 浙江大学 一种基于空间距离和极线约束的机械臂手眼标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
KR101964332B1 (ko) * 2017-10-13 2019-07-31 재단법인대구경북과학기술원 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템
CN110103217A (zh) * 2019-05-09 2019-08-09 电子科技大学 工业机器人手眼标定方法
CN110202573A (zh) * 2019-06-04 2019-09-06 上海知津信息科技有限公司 全自动手眼标定、工作平面标定方法及装置
CN110276806A (zh) * 2019-05-27 2019-09-24 江苏大学 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN110288660A (zh) * 2016-11-02 2019-09-27 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
US20180089831A1 (en) * 2016-09-28 2018-03-29 Cognex Corporation Simultaneous Kinematic and Hand-Eye Calibration
CN110288660A (zh) * 2016-11-02 2019-09-27 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
CN106920261A (zh) * 2017-03-02 2017-07-04 江南大学 一种机器人手眼静态标定方法
KR101964332B1 (ko) * 2017-10-13 2019-07-31 재단법인대구경북과학기술원 핸드-아이 캘리브레이션 방법, 이를 실행하기 위한 컴퓨터 프로그램 및 로봇 시스템
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
CN109129445A (zh) * 2018-09-29 2019-01-04 先临三维科技股份有限公司 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN109483516A (zh) * 2018-10-16 2019-03-19 浙江大学 一种基于空间距离和极线约束的机械臂手眼标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN110103217A (zh) * 2019-05-09 2019-08-09 电子科技大学 工业机器人手眼标定方法
CN110276806A (zh) * 2019-05-27 2019-09-24 江苏大学 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN110202573A (zh) * 2019-06-04 2019-09-06 上海知津信息科技有限公司 全自动手眼标定、工作平面标定方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116664A (zh) * 2020-09-04 2020-12-22 季华实验室 手眼标定轨迹生成方法、装置、电子设备及存储介质
CN112356057A (zh) * 2020-09-21 2021-02-12 埃夫特智能装备股份有限公司 一种基于多种复杂钣金件的矩阵吸盘的状态规划方法
CN112356057B (zh) * 2020-09-21 2022-05-31 埃夫特智能装备股份有限公司 一种基于多种复杂钣金件的矩阵吸盘的状态规划方法
CN113177983A (zh) * 2021-03-25 2021-07-27 埃夫特智能装备股份有限公司 基于点云几何特征的角焊缝定位方法
CN113664835A (zh) * 2021-09-15 2021-11-19 上海景吾智能科技有限公司 机器人自动手眼标定方法与系统
CN117140518A (zh) * 2023-09-15 2023-12-01 广州市斯睿特智能科技有限公司 一种全自动机器人手眼标定方法及系统

Similar Documents

Publication Publication Date Title
CN111152223A (zh) 一种全自动机器人手眼标定方法
CN110238845B (zh) 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN106780623B (zh) 一种机器人视觉系统快速标定方法
CN110238849B (zh) 机器人手眼标定方法及装置
JP4021413B2 (ja) 計測装置
US9118823B2 (en) Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image
CN110599541A (zh) 一种对多传感器进行标定的方法、装置和存储介质
JP2020073891A (ja) 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定
CN110193849A (zh) 一种机器人手眼标定的方法及装置
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
CN112621743B (zh) 机器人及其相机固定于末端的手眼标定方法及存储介质
CN109493389B (zh) 一种基于深度学习的相机标定方法及系统
CN110463376B (zh) 一种插机方法及插机设备
CN110695520B (zh) 基于视觉的全自动振镜视场校准系统及其校准方法
CN112102289A (zh) 一种基于机器视觉的细胞样本离心处理系统及方法
CN108627178A (zh) 机器人手眼标定方法和系统
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN113840695A (zh) 标定检验组件、机器人系统、检验方法和标定方法
CN109737871B (zh) 一种三维传感器与机械手臂的相对位置的标定方法
CN110298879B (zh) 一种待抓取物体位姿的确定方法、装置及电子设备
CN112809668A (zh) 一种机械臂自动手眼标定的方法及系统、终端
CN111098306A (zh) 机器人的标定方法、装置、机器人和存储介质
CN112541936B (zh) 执行机构操作空间视觉信息确定方法及系统
US20210008724A1 (en) Method and apparatus for managing robot system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515

RJ01 Rejection of invention patent application after publication