CN112589787A - 进料转盘机械臂上下样的视觉定位及手眼标定方法 - Google Patents
进料转盘机械臂上下样的视觉定位及手眼标定方法 Download PDFInfo
- Publication number
- CN112589787A CN112589787A CN202011389157.XA CN202011389157A CN112589787A CN 112589787 A CN112589787 A CN 112589787A CN 202011389157 A CN202011389157 A CN 202011389157A CN 112589787 A CN112589787 A CN 112589787A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- visual
- camera
- feeding turntable
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明涉及一种进料转盘机械臂上下样的视觉定位及手眼标定方法,包括标定过程和定位过程,并采用在机械臂末端的任意位置固连视觉标识A,在作业对象上的任意位置固定连接视觉标识B,该方法的步骤为:一、标定过程:通过采样作业对象不同旋转角度下包含视觉标识B的一系列图像和相机拍摄一系列包含机械臂末端的视觉标识A的图像以及对应的机械臂末端位姿图像和数据,结合相机的内外参数,计算系统不变量,完成标定过程;二、定位过程:根据所拍摄图像以及标定过程得到的数据,计算得到此时进料转盘上各上样点在机械臂坐标系下的期望末端坐标;重复上述步骤,实时得到料转盘上个上样点在机械臂末端坐标系下的期望末端坐标,完成定位过程。
Description
技术领域
本发明涉及一种多自由度机械臂视觉定位技术,尤其是一种进料转盘机械臂上下样的视觉定位及手眼标定方法
背景技术
现阶段,使用视觉定位技术引导多自由度机械臂完成作业对象定位的技术不断发展,同时还存在诸多问题。机械臂在工业中广泛应用于物体抓取,目前通过视觉定位技术,使用机械臂进行回转平台上下样具有诸多问题:
1.标定困难:领域内传统方法使使用九点法平面标定和直接求解AX=XB方程,对于亚毫米级定位精度,前者要求标定后相机不能移动,相机的震动和镜头畸变程度影响定位精度;后者通常使用求解稳定性较高的两步法求解,但将旋转部分的误差引入了平移部分。公开申请发明专利《一种SCARA机器人eye-to-hand手眼系统的标定方法》(申请号CN201910322749)便是一种采用九点法标定SCARA机械臂的例子。与之相比,本发明仅求解AX=XB方程的旋转部分,无需求解平移部分,提高了求解精度。
2.标定简便:传统手眼标定还需标定机械臂末端工具中心,领域内一般采用定点变位姿方法人工标定,耗时较长,且需要专业设备。而本方法无需专门的末端工具中心步骤,而是根据进料转盘的特性,在标定上样点过程中,间接的标定了末端工具中心,节省标定时间。
3.鲁棒性:传统的视觉定位技术将相机固定在机械臂末端,或者相机与作业对象固连。这两种固定方式的弊端在于,整个系统完成标定之后,相机与机械臂末端或者作业对象的相对位置关系不能发生变化,工作中二者极小的相对位移都将引起最终定位效果的明显偏差,导致需要重新标定。这使得相机布置很不灵活,同时对相机固定方式提出较高的要求。授权发明专利《一种棒料视觉定位方法及装置》(申请号CN201710321931)即采用了相机与机械臂末端固连的方式,虽然节省了视觉定位的柔性化成本,但是加大了末端负载,要求末端有足够安装相机的空间,且末端的振动会影响视觉定位效果。
发明内容
本发明的目的是解决目前多自由度机械臂视觉定位技术应用中,视觉系统与机械臂或视觉系统与作业对象需要始终保持相对静止才能定位,一旦发生相对位移就需要重新标定,且传统标定方法专门标定工具中心耗时长,直接求解AX=XB方程带来平移部分精度不高的技术问题,而提供一种进料转盘机械臂上下样的视觉定位及手眼标定方法。
为实现上述目的,本发明的技术方案是:一种进料转盘机械臂上下样的视觉定位及手眼标定方法,包括标定过程和定位过程,并采用在机械臂末端的任意位置固连视觉标识A,在作业对象上的任意位置固连视觉标识B,其中,作业对象为进料转盘,该方法的具体步骤如下:
一、标定过程:
S1.保持进料转盘的回转中心与相机相对静止,旋转进料转盘,此过程中相机对进料转盘进行采样,得到进料转盘不同旋转角度下包含视觉标识B的一系列图像;
S2.保持进料转盘、相机和机械臂基座相对静止,机械臂末端姿态不变,控制机械臂末端分别到达进料转盘上某一圆周上的多个上样点Pi,分别记录机械臂末端位置[pi]BASE,i=1,2,…,n;
S3.继续保持步骤S2所述进料转盘、相机和机械臂基座的相对静止关系,机械臂末端姿态仍不改变,移动机械臂末端至一固定位置Pf,记录此时机械臂末端相对基座的旋转关系,同时相机拍摄包含视觉标识A和视觉标识B的图像;
S4.保持机械臂基座与相机相对静止,平移和旋转机械臂末端,此过程中相机拍摄一系列包含视觉标识A的图像以及对应的机械臂末端位姿;
S5.根据步骤S1~S4获取的图像和数据,结合相机的内外参数,计算系统不变量,完成标定过程;
二、定位过程:
S6.控制机械臂末端到达步骤S3所述固定位置Pf,相机拍摄同时包含视觉标识A与视觉标识B的图像;
S7.根据步骤S6所拍摄图像以及所述标定过程得到的数据,计算得到此时进料转盘上各上样点在机械臂坐标系下的期望末端坐标;
S8.重复步骤S6~S7,实时得到料转盘上个上样点在机械臂末端坐标系下的期望末端坐标,完成定位过程。
进一步,所述机械臂具有完全的平面定位能力和至少一个旋转自由度。
进一步,所述进料转盘上的样点呈同心圆分布,且圆心在进料转盘的回转中心上。
进一步,步骤S5中通过图像内的视觉标识计算该时刻相机坐标系与视觉标识坐标系的关系。
进一步,通过图像内的视觉标识采用视觉标识的二进制编码特征,从图像中获取到视觉标识的角点像素坐标,通过相似三角法,根据所采用的相机的内外参数,计算得到该图像中视觉标识坐标系在相机坐标系下的位姿。
进一步,标定完成后,定位过程不要求机械臂基座、进料转盘和单目相机之间保持固定相对关系。
进一步,使用相机为单目相机,单目相机对视觉标识A和视觉标识B采样时,为保证采样清晰,总保持视觉标识A和视觉标识B在单目相机下的深度接近。
进一步,视觉标识使用AprilTag码。
本发明的有益效果是:本发明的定位系统中,对机械臂、作业对象、相机三者的位置不要求被精确测量,即改变相对位置不影响定位效果,提高了系统布置的灵活性;针对本发明的定位系统的标定方法充分利用了作业对象为回转平台的特点,省略了工具中心标定步骤,具有可操作性强,求解容易、精度较高的优点,最终定位精度可达亚毫米级。
附图说明
图1是本发明的进料转盘机械臂上下样的视觉定位及手眼标定方法各部分示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。
如图1所示,本发明的进料转盘机械臂上下样的视觉定位及手眼标定方法,包括标定过程和定位过程,并采用在机械臂1及机械臂末端5的任意位置固定连接的视觉标识A,在作业对象上的任意位置固连视觉标识B,作业对象上方设置相机3,本实施例中,视觉标识A设置在机械臂末端的工具5上,作业对象为进料转盘2,该方法的具体步骤如下:
一、标定过程:
S1.保持进料转盘的回转中心与相机相对静止,旋转进料转盘,此过程中相机对进料转盘进行采样,得到进料转盘不同旋转角度下包含视觉标识B的一系列图像;
S2.保持进料转盘、相机和机械臂基座相对静止,机械臂末端姿态不变,控制机械臂末端分别到达进料转盘上某一圆周上的多个上样点Pi,分别记录机械臂末端位置[pi]BASE,i=1,2,…,n;
S3.继续保持步骤S2所述进料转盘、相机和机械臂基座的相对静止关系,机械臂末端姿态仍不改变,移动机械臂末端至一固定位置Pf,记录此时机械臂末端相对基座的旋转关系同时相机拍摄包含视觉标识A和视觉标识B的图像;
S4.保持机械臂基座与相机相对静止,平移和旋转机械臂末端,此过程中相机拍摄一系列包含视觉标识A的图像以及对应的机械臂末端位姿;
S5.根据步骤S1~S4获取的图像和数据,结合相机的内外参数,计算系统不变量,完成标定过程;
二、定位过程:
S6.控制机械臂末端到达步骤S3所述固定位置Pf,相机拍摄同时包含视觉标识A与视觉标识B的图像;
S7.根据步骤S6所拍摄图像以及所述标定过程得到的数据,计算得到此时进料转盘上各上样点在机械臂坐标系下的期望末端坐标;
S8.重复步骤S6~S7,实时得到料转盘上个上样点在机械臂末端坐标系下的期望末端坐标,完成定位过程。
优选地,在本实施实例中采用单目工业相机作为相机设备,视觉标识使用AprilTag码。
本实施实例中,通过视觉标识的二进制编码特征,从图像中获取到视觉标识的角点像素坐标,通过领域内普遍使用的相似三角法,根据所采用的工业相机的内外参数,计算得到该图像中视觉标识坐标系在相机坐标系下的位姿。
在步骤S1中,通过拍摄的图像可以计算得到的视觉标识B在相机坐标系下随作业对象旋转的一系列位姿设进料转盘旋转轴在视觉标识B坐标系下的坐标表示为由于进料转盘旋转轴在相机坐标系下不变,可根据最小二乘法,得到 的一种最小二乘解析解表示为
步骤S2中,根据最小二乘法,可根据[pi]BASE得到圆心坐标[p′i]BASE;
在步骤S7中,根据关系式
RQ=QH
式中符号在不引起误解的情况下均自动变换齐次或非齐次形式以满足矩阵计算。
本发明有如下优点:
(1)无需专门标定工具中心,节省标定时间;
(2)求解手眼标定方程AX=XB时仅需求解旋转部分,不计算误差较大的平移部分。
(3)本发明的定位方案对作业对象、相机、机械臂三者的位姿具有很强的适应性,三者可以挪动而不影响继续定位,提高了机械臂作业系统、作业对象和相机系统布置的灵活性。
Claims (8)
1.一种进料转盘机械臂上下样的视觉定位及手眼标定方法,包括标定过程和定位过程,并采用在机械臂末端的任意位置固连视觉标识A,在作业对象上的任意位置固定连接视觉标识B,其中,作业对象为进料转盘,其特征在于,该方法的具体步骤如下:
一、标定过程:
S1.保持进料转盘的回转中心与相机相对静止,旋转进料转盘,此过程中相机对进料转盘进行采样,得到进料转盘不同旋转角度下包含视觉标识B的一系列图像;
S2.保持进料转盘、相机和机械臂基座相对静止,机械臂末端姿态不变,控制机械臂末端分别到达进料转盘上某一圆周上的多个上样点Pi,分别记录机械臂末端位置[pi]BASE,i=1,2,…,n;
S3.继续保持步骤S2所述进料转盘、相机和机械臂基座的相对静止关系,机械臂末端姿态仍不改变,移动机械臂末端至一固定位置Pf,记录此时机械臂末端相对基座的旋转关系,同时相机拍摄包含视觉标识A和视觉标识B的图像;
S4.保持机械臂基座与相机相对静止,平移和旋转机械臂末端,此过程中相机拍摄一系列包含视觉标识A的图像以及对应的机械臂末端位姿;
S5.根据步骤S1~S4获取的图像和数据,结合相机的内外参数,计算系统不变量,完成标定过程;
二、定位过程:
S6.控制机械臂末端到达步骤S3所述固定位置Pf,相机拍摄同时包含视觉标识A与视觉标识B的图像;
S7.根据步骤S6所拍摄图像以及所述标定过程得到的数据,计算得到此时进料转盘上各上样点在机械臂坐标系下的期望末端坐标;
S8.重复步骤S6~S7,实时得到料转盘上个上样点在机械臂末端坐标系下的期望末端坐标,完成定位过程。
2.根据权利要求1所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:所述机械臂具有完全的平面定位能力和至少一个旋转自由度。
3.根据权利要求1所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:所述进料转盘上的样点呈同心圆分布,且圆心在进料转盘的回转中心上。
4.根据权利要求1所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:步骤S5中通过图像内的视觉标识计算该时刻相机坐标系与视觉标识坐标系的关系。
5.根据权利要求4所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:通过图像内的视觉标识采用视觉标识的二进制编码特征,从图像中获取到视觉标识的角点像素坐标,通过相似三角法,根据所采用的相机的内外参数,计算得到该图像中视觉标识坐标系在相机坐标系下的位姿。
6.根据权利要求1所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:标定完成后,定位过程不要求机械臂基座、进料转盘和单目相机之间保持固定相对关系。
7.根据权利要求1所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:使用的相机为单目相机,单目相机对视觉标识A和视觉标识B采样时,为保证采样清晰,总保持视觉标识A和视觉标识B在单目相机下的深度接近。
8.根据权利要求1所述的进料转盘机械臂上下样的视觉定位及手眼标定方法,其特征在于:视觉标识使用AprilTag码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011389157.XA CN112589787B (zh) | 2020-12-02 | 2020-12-02 | 进料转盘机械臂上下样的视觉定位及手眼标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011389157.XA CN112589787B (zh) | 2020-12-02 | 2020-12-02 | 进料转盘机械臂上下样的视觉定位及手眼标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112589787A true CN112589787A (zh) | 2021-04-02 |
CN112589787B CN112589787B (zh) | 2022-09-16 |
Family
ID=75187664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011389157.XA Active CN112589787B (zh) | 2020-12-02 | 2020-12-02 | 进料转盘机械臂上下样的视觉定位及手眼标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112589787B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113232022A (zh) * | 2021-05-22 | 2021-08-10 | 深圳市华成工业控制股份有限公司 | 一种圆盘传送跟踪控制方法、系统、装置及存储介质 |
CN114523471A (zh) * | 2022-01-07 | 2022-05-24 | 中国人民解放军海军军医大学第一附属医院 | 基于关联标识的误差检测方法及机器人系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106093075A (zh) * | 2016-08-10 | 2016-11-09 | 万新光学集团有限公司 | 一种用于视觉检测的镜片自动上料装置和方法 |
CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
CN108818535A (zh) * | 2018-07-05 | 2018-11-16 | 杭州汉振科技有限公司 | 机器人3d视觉手眼标定方法 |
CN109129466A (zh) * | 2018-07-26 | 2019-01-04 | 清华大学 | 一种用于立体定向机器人的主动视觉装置及其控制方法 |
CN109859275A (zh) * | 2019-01-17 | 2019-06-07 | 南京邮电大学 | 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法 |
CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学(深圳) | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
CN110497187A (zh) * | 2019-07-31 | 2019-11-26 | 浙江大学山东工业技术研究院 | 基于视觉引导的太阳花模组装配系统 |
CN111791239A (zh) * | 2020-08-19 | 2020-10-20 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
-
2020
- 2020-12-02 CN CN202011389157.XA patent/CN112589787B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106093075A (zh) * | 2016-08-10 | 2016-11-09 | 万新光学集团有限公司 | 一种用于视觉检测的镜片自动上料装置和方法 |
CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
CN108818535A (zh) * | 2018-07-05 | 2018-11-16 | 杭州汉振科技有限公司 | 机器人3d视觉手眼标定方法 |
CN109129466A (zh) * | 2018-07-26 | 2019-01-04 | 清华大学 | 一种用于立体定向机器人的主动视觉装置及其控制方法 |
CN109859275A (zh) * | 2019-01-17 | 2019-06-07 | 南京邮电大学 | 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法 |
CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学(深圳) | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
CN110497187A (zh) * | 2019-07-31 | 2019-11-26 | 浙江大学山东工业技术研究院 | 基于视觉引导的太阳花模组装配系统 |
CN111791239A (zh) * | 2020-08-19 | 2020-10-20 | 苏州国岭技研智能科技有限公司 | 一种结合三维视觉识别可实现精确抓取的方法 |
Non-Patent Citations (4)
Title |
---|
张航等: "基于单应矩阵的手眼视觉系统简便标定方法", 《计算机工程》 * |
杜晓峰等: "基于结构光和自动转台的桌面式3D点云扫描仪", 《实验室研究与探索》 * |
罗坚铭等: "移动机器人高精度上下料的研究", 《电子测量与仪器学报》 * |
赵雅祥等: "基于视觉定位的多关节串联人形机器人手臂系统的研究与实现", 《现代制造技术与装备》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113232022A (zh) * | 2021-05-22 | 2021-08-10 | 深圳市华成工业控制股份有限公司 | 一种圆盘传送跟踪控制方法、系统、装置及存储介质 |
CN114523471A (zh) * | 2022-01-07 | 2022-05-24 | 中国人民解放军海军军医大学第一附属医院 | 基于关联标识的误差检测方法及机器人系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112589787B (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110238849B (zh) | 机器人手眼标定方法及装置 | |
CN109794938B (zh) | 一种适用于曲面结构的机器人制孔误差补偿装置及其方法 | |
CN110238845B (zh) | 最优标定点选取和误差自测量的自动手眼标定方法及装置 | |
CN112589787B (zh) | 进料转盘机械臂上下样的视觉定位及手眼标定方法 | |
CN110640745B (zh) | 基于视觉的机器人自动标定方法、设备和存储介质 | |
CN108789404B (zh) | 一种基于视觉的串联机器人运动学参数标定方法 | |
CN108297100B (zh) | 机械臂参数标定方法、装置和系统、机械臂 | |
CN111390901B (zh) | 机械臂自动标定方法以及标定装置 | |
CN110148187B (zh) | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 | |
CN109781164B (zh) | 一种线激光传感器的静态标定方法 | |
CN110640747A (zh) | 机器人的手眼标定方法、系统、电子设备和存储介质 | |
CN111504183A (zh) | 线激光三维测量传感器与机器人相对位置的标定方法 | |
CN109493389B (zh) | 一种基于深度学习的相机标定方法及系统 | |
CN113211445B (zh) | 一种机器人参数标定方法、装置、设备及存储介质 | |
CN114643578A (zh) | 一种提高机器人视觉引导精度的标定装置及方法 | |
CN214323368U (zh) | 进料转盘机械臂上下样的视觉定位及手眼标定装置 | |
CN113237434A (zh) | 一种基于阶梯形标定物的激光轮廓传感器eye-in-hand标定方法 | |
CN116026252A (zh) | 一种点云测量方法及系统 | |
CN112894814B (zh) | 一种基于最小二乘法的机械臂dh参数辨识方法 | |
CN111006706B (zh) | 一种基于线激光视觉传感器的旋转轴标定方法 | |
CN110458894B (zh) | 一种测量机的相机与接触式测头的标定方法 | |
CN110533727A (zh) | 一种基于单个工业相机的机器人自定位方法 | |
CN115609586A (zh) | 一种基于抓取位姿约束的机器人高精度装配方法 | |
CN110815203A (zh) | 一种机器臂末端执行器的校正方法 | |
CN115409878A (zh) | 一种工件整理归位的ai算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |