CN114378822B - 一种基于视觉的机器人机械臂末端位姿的调整方法 - Google Patents
一种基于视觉的机器人机械臂末端位姿的调整方法 Download PDFInfo
- Publication number
- CN114378822B CN114378822B CN202210063000.0A CN202210063000A CN114378822B CN 114378822 B CN114378822 B CN 114378822B CN 202210063000 A CN202210063000 A CN 202210063000A CN 114378822 B CN114378822 B CN 114378822B
- Authority
- CN
- China
- Prior art keywords
- point
- mechanical arm
- coordinate system
- camera
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 239000012636 effector Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 101100518501 Mus musculus Spp1 gene Proteins 0.000 claims description 6
- 108700041286 delta Proteins 0.000 claims description 6
- 238000003825 pressing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明提供了一种基于视觉的机器人机械臂末端位姿的调整方法,属于机器人机械臂控制技术领域。主要解决移动机器人在操作电气柜按钮时,由于电气柜操作面板板倾斜和移动机器人定位误差带来的机器人机械臂末端位姿偏差,从而导致移动机械臂不能精确地对按钮开关操作的问题。调整方法包括:首先机器人移动到目标电气柜操作面板板前,其次驱动机械臂带动相机到校正板拍照处拍取图片并对其进行图片处理,获取三个圆心的坐标信息,再根据三个圆的坐标关系计算出三个方向的倾斜角,并旋转相应旋转关节调整机械臂末端位姿,最后驱动机械臂对目标按钮开关进行操作。本发明能够基于深度相机的视觉信息,实现对机器人机械臂末端位姿的调整,且定位精准。
Description
技术领域
本发明属于机器人机械臂控制技术领域,具体的,涉及一种基于视觉的机器人机械臂末端位姿的调整方法。
背景技术
机器人的刚需时代正在来临,机器人技术正在深刻改变着人类的生产和生活方式。随着其技术的不断发展和成熟,机器人产业发展逐渐从制造业向生活领域转移,然而现实生活中的环境复杂多变,要使机器人能够在多种场合下服务于人们的生活和工作,尚需要解决很多问题。
变电站是对电能的电压和电流进行变换、集中和分配的场所,受变电站户内设备体型小、运动空间狭窄等因素限制,站内设备操作大多依靠人工进行,操作人员不仅费时费力,而且面临较大的劳动风险。为了实现变电所无人化管理,许多变电所采用移动机械臂代替操作人员操作变电所内的设备,如对电气柜上的按钮开关下达指令,但在实际应用过程中,机器人很难精准识别和定位目标按钮,常常因为机器人无法正确完成操作过程而引起更大的安全问题,因此,为了解决机器人精确识别和定位目标按钮开关,精准按下按钮开关完成操作过程的问题,本发明提出一种基于视觉的机械臂末端位姿调整的方法,利用可靠的取像装置开发有效的数学模型,以达到通过机器人技术代替人工对设备进行精准操作的目的。
中国发明专利文献(CN108453727B)于2018年8月28日公开的《基于椭圆特征的机械臂末端误差校正方法及系统》采用一种基于椭圆特征的机械臂末端误差校正方法,该方法虽然做到了校正机械臂末端因局部柔性或关节间隙引起的控制误差,进而完成机械臂末端位姿校正,但受机械臂构型约束且校正过程较于复杂,适用范围较为局限,难以适应不同机械臂末端的位姿校正。
在机器人作业中,机械臂末端位姿的准确性,直接影响着机器人是否能精确完成作业及操作。其中,对于机器人操作电气柜按钮开关技术的研究还存在以下技术问题:
1、移动小车到达目标电气柜操作位置,定位不精确,存在定位误差,小车上面机械臂的初始位姿及按钮开关拍照位姿和电气柜操作面板因此产生一定的倾斜,使得机械臂无法精确地操作目标按钮开关。
2、受电气柜的限制,电气柜操作面板可能与地面不垂直,存在一定的倾斜,机械臂到达按钮开关拍照位姿时,机械臂末端轴垂面和电气柜操作面板并不平行,因而在随后的相机拍照识别和按钮开关定位过程中,机械臂操作总是存在偏差,无法更为精确的完成按下目标按钮开关的过程。
发明内容
针对现有技术的不足,本发明提供了一种基于视觉的机械臂末端位姿调整的方法,能够使机器人精确识别定位电气柜按钮开关,进而精准按下按钮开关。
本发明的目的是这样实现的,本发明提供了一种基于视觉的机器人机械臂末端位姿的调整方法,本调整方法涉及的系统包括机器人、电气柜和校正板;所述电气柜的操作面板上装有按钮开关,将按钮开关的圆心记为点A;所述校正板粘贴在电气柜操作面板上,该校正板上设有三个黑色的圆,分别记为圆1、圆2和圆3,将圆1、圆2和圆3的圆心分别记为点C1、点C2和点C3,校正板粘贴完成后,点C1和点C2连成的直线为水平线,C3位于点C1和点C2的下方,且点C3与点C1连成的直线与点C1和点C2连成的直线垂直;
所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机,所述6自由度机械臂包括6个旋转关节和机械臂基座,所述6 个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六,6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转,其中第四关节轴和第五关节轴相互垂直,第五关节轴和第六关节轴相互垂直;所述末端执行器和深度相机均安装在6自由度机械臂的末端上,且深度相机的光轴与第六关节轴平行,深度相机跟随6自由度机械臂运动;
所述调整方法包括以下步骤:
步骤1,定义图像坐标系、像素坐标系和相机坐标系,并使用相机标定算法对深度相机进行相机标定;
所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系,包括互相垂直的图像X轴和图像Y轴;所述像素坐标系以图像左上角为原点建立的以像素为单位的直接坐标系,包括互相垂直的像素U轴和像素V轴,像素U轴上的横坐标为像素在其图像中的列数,像素V轴上的纵坐标为像素在其图像中的行数,且像素U轴与图像X 轴平行、像素V轴与图像Y轴平行;所述相机坐标系是以相机光心为原点建立的坐标系,包括相机Xc轴、相机Yc轴和相机Zc轴,其中,相机Zc轴为相机光轴,相机Xc轴与像素坐标系中的像素U轴平行,相机Yc轴与像素坐标系中的像素V轴平行;
使用相机标定算法对深度相机进行相机标定,标定出的结果为深度的内参矩阵M,其表达式为:
式中,
fx为图像坐标系中图像X轴上的归一化焦距,fx=f/dx,其中, f为深度相机的焦距,单位为mm,dx为像素坐标系中的每个像素在图像X轴上的物理尺寸,单位为mm/pixel;
fy为图像坐标系中图像Y轴上的归一化焦距,fy=f/dy,dy为像素坐标系下每个像素在图像Y轴上的物理尺寸,单位为mm/pixel;
u0为图像坐标系的原点在像素坐标系中的横坐标,v0为图像坐标系的原点在像素坐标系中的纵坐标,即图像坐标系的原点在像素坐标系中的坐标为(u0,v0);
步骤2,机器人移动到目标电气柜操作面板板前,驱动6自由度机械臂使深度相机到达校正板拍摄位置进行拍照,然后对拍摄得到的图像做图像处理,得到点C1、点C2和点C3的像素坐标和深度值,分别为:点C1的像素坐标(u1,v1)和深度值d1,点C2的像素坐标(u2,v2)和深度值d2,点C3的像素坐标(u3,v3)和深度值d3;
步骤3,根据步骤1标定出的内参矩阵M和圆心坐标变换公式一分别计算出点C1在相机坐标系下的相机坐标(xc1,yc1,zc1)、点C2在相机坐标系下的相机坐标(xc2,yc2,zc2),点C3在相机坐标系下的相机坐标(xc3,yc3,zc3),所述圆心坐标变换公式一的表达式为:
其中,Z是圆心在相机坐标系下测出来的深度值,即圆心到深度相机平面的距离,u为圆心在像素坐标系下的横坐标,v为圆心在像素坐标系下的纵坐标,(xc,yc,zc)为圆心在相机坐标系下的坐标;
步骤4,根据点C1、点C2和点C3的坐标关系,求深度相机在Xc、Yc、Zc三个方向的倾斜角,所述求解过程如下:
步骤4.1,过点C1做一条平行于相机Xc轴的直线,过点C2做该直线的垂线,并将其交点记为交点Q1,连接点C1、点C2、交点Q1构成一个直角三角形,∠Q1C1C2即为深度相机在Xc轴方向的倾斜角,其表达式为:
步骤4.2,沿着深度相机光轴的方向,将点C3投影到过点C1且平行于相机Xc-Yc轴的平面上,记为点Q2,连接点C3、点C1、点Q2构成一个直角三角形,∠Q2C1C3即为深度相机在Yc轴方向的倾斜角,其表达式为:
步骤4.3,沿着深度相机光轴的方向,将点C1投影到过点C2且平行于相机Xc-Yc轴的平面上,记为点Q3,连接点C1、点C2、点Q3构成一个直角三角形C1Q3C2,∠Q3C2C1即为深度相机在Zc轴方向的倾斜角,其表达式为:
步骤5,进行6自由度机械臂末端位姿的调整,具体的,将旋转关节四旋转∠Q2C1C3,将旋转关节五旋转∠Q3C2C1,将旋转关节六旋转∠Q1C1C2;
步骤6,按照步骤2的方法再次获取点C1、点C2、点C3的像素坐标和深度值,并分别记为调整后的点C1的像素坐标(uinv1n)和深度值 d1n、调整后的点C2的像素坐标(u2n,v2n)和深度值d2n和调整后的点C3的像素坐标(u3n,v3n)和深度值d3n,其中,n为调整次数,n≥1;
给定预设值δ和η,定义第一差值δ1、第二差值δ2、第三差值δ3、第四差值η1和第五差值η2,δ1=|d1n-d2n|,δ2=|d1n-d3n|,δ 3=|d2n-d3n|,η1=|v1n-v2n|,η2=|u1n-u3n|,并进行如下判断:
若满足δ1<δ且δ2<δ且δ3<δ且η1<η且η2<η,则6自由度机械臂末端位姿的调整结束,进入步骤7;
若不满足δ1<δ且δ2<δ且δ3<δ且η1<η且η2<η,返回步骤2,进行下一轮调整;
步骤7,在6自由度机械臂末端完成位姿调整后,驱动6自由度机械臂使深度相机到达目标按钮开关拍照位姿进行拍照,然后对拍摄得到的图像做图像处理,得到点A的像素坐标(ua,va)和深度值da;
步骤8,首先利用步骤3中的圆心坐标变换公式一,将步骤7得到的点A的像素坐标(ua,va)转换成点A在相机坐标系下的相机坐标 (xca、yca、zca);然后利用圆心坐标变换公式二将点A的相机坐标 (xca、yca、zca)转换成机械臂基座坐标系下的机械臂基座坐标 (xba、yba、zba),所述圆心坐标变换公式二的表达式为:
其中,是机械臂手眼标定出的相机外参矩阵,/>是由机械臂系统得出的齐次变换矩阵;
步骤9,驱动6自由度机械臂使其末端执行器到达(xba、yba、zba)位姿,随后末端执行器按下按钮开关,完成操作;
步骤10,6自由度机械臂恢复到不操作时的位姿,等待下次操作的指令。
优选地,步骤2所述图像处理包括图像灰度化和霍夫圆变换,步骤7所述图像处理包括格式转换和霍夫圆变换;
所述图像灰度化指的是利用图像处理工具将原图灰度化,使黑白区分更加明显;所述格式转换指的是利用图像处理工具将RGB格式的图像转化为HSV格式的图像;所述霍夫圆变换是用于检测出图像中存在的圆,并获得其圆心像素坐标。
优选地,所述机械臂基座标系以机械臂基座中心点为原点建立的坐标系,包括机械臂基座Xb轴、机械臂基座Yb轴和机械臂基座Zb轴,其中,机械臂基座Zb轴和第一关节轴平行,机械臂基座Xb轴以AGV 小车正前方为正方向,机械臂基座Yb轴由坐标系右手法则确定。
优选地,所述相机外参矩阵用于描述机械臂末端坐标系相对于相机坐标系的位姿变换,其表达式为:
式中,是一个3×3的旋转矩阵,用于描述机械臂末端坐标系相对于相机坐标系的坐标旋转,/>是一个3×1的平移向量,用于描述机械臂末端坐标系相对于相机坐标系的坐标平移;
所述齐次变换矩阵用于描述机械臂末端坐标系相对于机械臂基座坐标系的位姿变换,其表达式为:
式中,是一个3×3的旋转矩阵,用于描述机械臂末端坐标系相对于机械臂基座坐标系的坐标旋转,/>是一个3×1的平移向量,用于描述机械臂末端坐标系相对于机械臂基座坐标系的坐标平移;
所述机械臂末端坐标系为以关节六中心为原点建立的坐标系,包括机械臂末端Xe轴、机械臂末端Ye轴和机械臂末端Ze轴,其中,机械臂末端Ze轴为末端旋转轴,竖直向下方向为机械臂末端Xe轴正方向,机械臂末端Ye轴由坐标系右手法则确定;所述机械臂基座标系以机械臂基座中心点为原点建立的坐标系,包括机械臂基座Xb轴、机械臂基座Yb轴和机械臂基座Zb轴,其中,机械臂基座Zb轴和关节一的旋转轴平行,机械臂基座Xb轴以AGV小车正前方为正方向,机械臂基座Yb轴由坐标系右手法则确定。
与现有技术相比,本发明的有益效果如下;
1、本发明采用基于视觉的机器人机械臂末端位姿的调整方法,用于机器人机械臂操作电气柜上的按钮开关,解决了由于AGV小车定位误差和电气柜做工限制带给机器人机械臂末端位姿的影响,从而使机器人机械臂更为精确地操作电气柜按钮开关。
2、本发明采用基于视觉的机器人机械臂末端位姿的调整方法,校正过程简单快速,易于实施,满足机器人机械臂操作电气柜按钮开关的需求。
附图说明
图1为本发明的系统结构图;
图2为本发明中电气柜操作面板正视图;
图3为本发明调整方法的流程图;
图4为本发明中深度相机在Xc轴方向的倾斜角∠Q1C1C2的示意图;
图5为本发明中深度相机在Yc轴方向的倾斜角∠Q2C1C3的示意图;
图6为本发明中深度相机在Zc轴方向的倾斜角∠Q3C2C1的示意图;
图7为本发明机器人机械臂末端校正后拍取的校正板图;
图8为本发明调整方法的流程简图。
具体实施方式
下面结合附图对本发明实施例作进一步的描述。
图1为本发明的系统结构图,图2为本发明中电气柜操作面板正视图。由图1、图2可见,本调整方法涉及的系统包括机器人、电器柜和校正板。
所述电气柜的操作面板上装有按钮开关,将按钮开关的圆心记为点A。所述校正板粘贴在电气柜操作面板上,该校正板上设有三个黑色的圆,分别记为圆1、圆2和圆3,将圆1、圆2和圆3的圆心分别记为点C1、点C2和点C3,校正板粘贴完成后,点C1和点C2连成的直线为水平线,C3位于点C1和点C2的下方,且点C3与点C1连成的直线与点C1和点C2连成的直线垂直。
所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机,所述6自由度机械臂包括6个旋转关节和机械臂基座,所述6 个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六,6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转,其中第四关节轴和第五关节轴相互垂直,第五关节轴和第六关节轴相互垂直;所述末端执行器和深度相机均安装在6自由度机械臂的末端上,且深度相机的光轴与第六关节轴平行,深度相机跟随6自由度机械臂运动;
在本调整方法中,末端执行器用于按下按钮开关。
图3为本发明调整方法的流程图,图8为本发明调整方法的流程简图。由图3可见,本发明的调整方法包括以下步骤:
步骤1,定义图像坐标系、像素坐标系和相机坐标系,并使用相机标定算法对深度相机进行相机标定。
所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系,包括互相垂直的图像X轴和图像Y轴;所述像素坐标系以图像左上角为原点建立的以像素为单位的直接坐标系,包括互相垂直的像素U轴和像素V轴,像素U轴上的横坐标为像素在其图像中的列数,像素V轴上的纵坐标为像素在其图像中的行数,且像素U轴与图像X 轴平行、像素V轴与图像Y轴平行;所述相机坐标系是以相机光心为原点建立的坐标系,包括相机Xc轴、相机Yc轴和相机Zc轴,其中,相机Zc轴为相机光轴,相机Xc轴与像素坐标系中的像素U轴平行,相机Yc轴与像素坐标系中的像素V轴平行。
使用相机标定算法对深度相机进行相机标定,标定出的结果为深度的内参矩阵M,其表达式为:
式中,
fx为图像坐标系中图像X轴上的归一化焦距,fx=f/dx,其中,f为深度相机的焦距,单位为mm,dx为像素坐标系中的每个像素在图像X轴上的物理尺寸,单位为mm/pixel;
fy为图像坐标系中图像Y轴上的归一化焦距,fy=f/dy,dy为像素坐标系下每个像素在图像Y轴上的物理尺寸,单位为mm/pixel;
u0为图像坐标系的原点在像素坐标系中的横坐标,v0为图像坐标系的原点在像素坐标系中的纵坐标,即图像坐标系的原点在像素坐标系中的坐标为(u0,v0)。
步骤2,机器人移动到目标电气柜操作面板板前,驱动6自由度机械臂使深度相机到达校正板拍摄位置进行拍照,然后对拍摄得到的图像做图像处理,得到点C1、点C2和点C3的像素坐标和深度值,分别为:点C1的像素坐标(u1,v1)和深度值d1,点C2的像素坐标(u2,v2)和深度值d2,点C3的像素坐标(u3,v3)和深度值d3。
步骤3,根据步骤1标定出的内参矩阵M和圆心坐标变换公式一分别计算出点C1在相机坐标系下的相机坐标(xc1,yc1,zc1)、点C2在相机坐标系下的相机坐标(xc2,yc2,zc2),点C3在相机坐标系下的相机坐标(xc3,yc3,zc3),所述圆心坐标变换公式一的表达式为:
其中,Z是圆心在相机坐标系下测出来的深度值,即圆心到深度相机平面的距离,u为圆心在像素坐标系下的横坐标,v为圆心在像素坐标系下的纵坐标,(xc,yc,zc)为圆心在相机坐标系下的坐标。
步骤4,根据点C1、点C2和点C3的坐标关系,求深度相机在Xc、Yc、Zc三个方向的倾斜角,所述求解过程如下:
步骤4.1,过点C1做一条平行于相机Xc轴的直线,过点C2做该直线的垂线,并将其交点记为交点Q1,连接点C1、点C2、交点Q1构成一个直角三角形,∠Q1C1C2即为深度相机在Xc轴方向的倾斜角,其表达式为:
步骤4.2,沿着深度相机光轴的方向,将点C3投影到过点C1且平行于相机Xc-Yc轴的平面上,记为点Q2,连接点C3、点C1、点Q2构成一个直角三角形,∠Q2C1C3即为深度相机在Yc轴方向的倾斜角,其表达式为:
步骤4.3,沿着深度相机光轴的方向,将点C1投影到过点C2且平行于相机Xc-Yc轴的平面上,记为点Q3,连接点C1、点C2、点Q3构成一个直角三角形C1Q3C2,∠Q3C2C1即为深度相机在Zc轴方向的倾斜角,其表达式为:
步骤5,进行6自由度机械臂末端位姿的调整,具体的,将旋转关节四旋转∠Q2C1C3,将旋转关节五旋转∠Q3C2C1,将旋转关节六旋转∠Q1C1C2;
图4、图5和图6给出了三个倾斜角∠Q1C1C2、∠Q2C1C3和∠Q3C2C1的示意图。图7为本发明机器人机械臂末端校正后拍取的校正板。
步骤6,按照步骤2的方法再次获取点C1、点C2、点C3的像素坐标和深度值,并分别记为调整后的点C1的像素坐标(u1nv1n)和深度值dln、调整后的点C2的像素坐标(u2nv2n)和深度值d2n和调整后的点C3的像素坐标(u3n,v3n)和深度值d3n,其中,n为调整次数,n≥1;
给定预设值δ和η,定义第一差值δ1、第二差值δ2、第三差值δ3、第四差值η1和第五差值η2,δ1=|d1n-d2n|,δ2=|d1n-d3n|,δ 3=|d2n-d3n|,η1=|v1n-v2n|,η2=|u1n-u3n|,并进行如下判断:
若满足δ1<δ且δ2<δ且δ3<δ且η1<η且η2<η,则6自由度机械臂末端位姿的调整结束,进入步骤7;
若不满足δ1<δ且δ2<δ且δ3<δ且η1<η且η2<η,返回步骤2,进行下一轮调整。
在本实施例中,预设值δ=1mm,预设值η=2pixel。
步骤7,在6自由度机械臂末端完成位姿调整后,驱动6自由度机械臂使深度相机到达目标按钮开关拍照位姿进行拍照,然后对拍摄得到的图像做图像处理,得到点A的像素坐标(ua,va)和深度值da;
步骤8,首先利用步骤3中的圆心坐标变换公式一,将步骤7得到的点A的像素坐标(ua,va)转换成点A在相机坐标系下的相机坐标 (xca、yca、zca);然后利用圆心坐标变换公式二将点A的相机坐标 (xca、yca、zca)转换成机械臂基座坐标系下的机械臂基座坐标 (xba、yba、zba),所述圆心坐标变换公式二的表达式为:
其中,是机械臂手眼标定出的相机外参矩阵,/>是由机械臂系统得出的齐次变换矩阵;
所述机械臂基座标系以机械臂基座中心点为原点建立的坐标系,包括机械臂基座Xb轴、机械臂基座Yb轴和机械臂基座Zb轴,其中,机械臂基座Zb轴和关节一的旋转轴平行,机械臂基座Xb轴以AGV小车正前方为正方向,机械臂基座Yb轴由坐标系右手法则确定。
步骤9,驱动6自由度机械臂使其末端执行器到达(xba、yba、zba)位姿,随后末端执行器按下按钮开关,完成操作;
步骤10,6自由度机械臂恢复到不操作时的位姿,等待下次操作的指令。
在本实施例中,步骤2所述图像处理包括图像灰度化和霍夫圆变换,步骤7所述图像处理包括格式转换和霍夫圆变换。
所述图像灰度化指的是利用图像处理工具将原图灰度化,使黑白区分更加明显;所述格式转换指的是利用图像处理工具将RGB格式的图像转化为HSV格式的图像;所述霍夫圆变换是用于检测出图像中存在的圆,并获得其圆心像素坐标。
在本实施例中,所述相机外参矩阵用于描述机械臂末端坐标系相对于相机坐标系的位姿变换,其表达式为:
式中,是一个3×3的旋转矩阵,用于描述机械臂末端坐标系相对于相机坐标系的坐标旋转,/>是一个3×1的平移向量,用于描述机械臂末端坐标系相对于相机坐标系的坐标平移。
所述齐次变换矩阵用于描述机械臂末端坐标系相对于机械臂基座坐标系的位姿变换,其表达式为:
式中,是一个3×3的旋转矩阵,用于描述机械臂末端坐标系相对于机械臂基座坐标系的坐标旋转,/>是一个3×1的平移向量,用于描述机械臂末端坐标系相对于机械臂基座坐标系的坐标平移。
所述机械臂末端坐标系为以关节六中心为原点建立的坐标系,包括机械臂末端Xe轴、机械臂末端Ye轴和机械臂末端Ze轴,其中,机械臂末端Ze轴为末端旋转轴,竖直向下方向为机械臂末端Xe轴正方向,机械臂末端Ye轴由坐标系右手法则确定。
Claims (4)
1.一种基于视觉的机器人机械臂末端位姿的调整方法,其特征在于,本调整方法涉及的系统包括机器人、电气柜和校正板;所述电气柜的操作面板上装有按钮开关,将按钮开关的圆心记为点A;所述校正板粘贴在电气柜操作面板上,该校正板上设有三个黑色的圆,分别记为圆1、圆2和圆3,将圆1、圆2和圆3的圆心分别记为点C1、点C2和点C3,校正板粘贴完成后,点C1和点C2连成的直线为水平线,C3位于点C1和点C2的下方,且点C3与点C1连成的直线与点C1和点C2连成的直线垂直;
所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机,所述6自由度机械臂包括6个旋转关节和机械臂基座,所述6个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六,6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转,其中第四关节轴和第五关节轴相互垂直,第五关节轴和第六关节轴相互垂直;所述末端执行器和深度相机均安装在6自由度机械臂的末端上,且深度相机的光轴与第六关节轴平行,深度相机跟随6自由度机械臂运动;
所述调整方法包括以下步骤:
步骤1,定义图像坐标系、像素坐标系和相机坐标系,并使用相机标定算法对深度相机进行相机标定;
所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系,包括互相垂直的图像X轴和图像Y轴;所述像素坐标系以图像左上角为原点建立的以像素为单位的直角坐标系,包括互相垂直的像素U轴和像素V轴,像素U轴上的横坐标为像素在其图像中的列数,像素V轴上的纵坐标为像素在其图像中的行数,且像素U轴与图像X轴平行、像素V轴与图像Y轴平行;所述相机坐标系是以相机光心为原点建立的坐标系,包括相机Xc轴、相机Yc轴和相机Zc轴,其中,相机Zc轴为相机光轴,相机Xc轴与像素坐标系中的像素U轴平行,相机Yc轴与像素坐标系中的像素V轴平行;
使用相机标定算法对深度相机进行相机标定,标定出的结果为深度相机的内参矩阵M,其表达式为:
式中,
fx为图像坐标系中图像X轴上的归一化焦距,fx=f/dx,其中,f为深度相机的焦距,单位为mm,dx为像素坐标系中的每个像素在图像X轴上的物理尺寸,单位为mm/pixel;
fy为图像坐标系中图像Y轴上的归一化焦距,fy=f/dy,dy为像素坐标系下每个像素在图像Y轴上的物理尺寸,单位为mm/pixel;
u0为图像坐标系的原点在像素坐标系中的横坐标,v0为图像坐标系的原点在像素坐标系中的纵坐标,即图像坐标系的原点在像素坐标系中的坐标为(u0,v0);
步骤2,机器人移动到目标电气柜操作面板板前,驱动6自由度机械臂使深度相机到达校正板拍摄位置进行拍照,然后对拍摄得到的图像做图像处理,得到点C1、点C2和点C3的像素坐标和深度值,分别为:点C1的像素坐标(u1,v1)和深度值d1,点C2的像素坐标(u2,v2)和深度值d2,点C3的像素坐标(u3,v3)和深度值d3;
步骤3,根据步骤1标定出的内参矩阵M和圆心坐标变换公式一分别计算出点C1在相机坐标系下的相机坐标(xc1,yc1,zc1)、点C2在相机坐标系下的相机坐标(xc2,yc2,zc2),点C3在相机坐标系下的相机坐标(xc3,yc3,zc3),所述圆心坐标变换公式一的表达式为:
其中,Z是圆心在相机坐标系下测出来的深度值,即圆心到深度相机平面的距离,u为圆心在像素坐标系下的横坐标,v为圆心在像素坐标系下的纵坐标,(xc,yc,zc)为圆心在相机坐标系下的坐标;
步骤4,根据点C1、点C2和点C3的坐标关系,求深度相机在Xc、Yc、Zc三个方向的倾斜角,求解过程如下:
步骤4.1,过点C1做一条平行于相机Xc轴的直线,过点C2做该直线的垂线,并将其交点记为交点Q1,连接点C1、点C2、交点Q1构成一个直角三角形,∠Q1C1C2即为深度相机在Xc轴方向的倾斜角,其表达式为:
步骤4.2,沿着深度相机光轴的方向,将点C3投影到过点C1且平行于相机Xc-Yc轴的平面上,记为点Q2,连接点C3、点C1、点Q2构成一个直角三角形,∠Q2C1C3即为深度相机在Yc轴方向的倾斜角,其表达式为:
步骤4.3,沿着深度相机光轴的方向,将点C1投影到过点C2且平行于相机Xc-Yc轴的平面上,记为点Q3,连接点C1、点C2、点Q3构成一个直角三角形C1 Q3 C2,∠Q3C2C1即为深度相机在Zc轴方向的倾斜角,其表达式为:
步骤5,进行6自由度机械臂末端位姿的调整,具体的,将旋转关节四旋转∠Q2C1C3,将旋转关节五旋转∠Q3C2C1,将旋转关节六旋转∠Q1C1C2;
步骤6,按照步骤2的方法再次获取点C1、点C2、点C3的像素坐标和深度值,并分别记为调整后的点C1的像素坐标(u1n,v1n)和深度值d1n、调整后的点C2的像素坐标(u2n,v2n)和深度值d2n和调整后的点C3的像素坐标(u3n,v3n)和深度值d3n,其中,n为调整次数,n≥1;
给定预设值δ和η,定义第一差值δ1、第二差值δ2、第三差值δ3、第四差值η1和第五差值η2,δ1=|d1n-d2n|,δ2=|d1n-d3n|,δ3=|d2n-d3n|,η1=|v1n-v2n|,η2=|u1n-u3n|,并进行如下判断:
若满足δ1<δ且δ2<δ且δ3<δ且η1<η且η2<η,则6自由度机械臂末端位姿的调整结束,进入步骤7;
若不满足δ1<δ且δ2<δ且δ3<δ且η1<η且η2<η,返回步骤2,进行下一轮调整;
步骤7,在6自由度机械臂末端完成位姿调整后,驱动6自由度机械臂使深度相机到达目标按钮开关拍照位姿进行拍照,然后对拍摄得到的图像做图像处理,得到点A的像素坐标(ua,va)和深度值da;
步骤8,首先利用步骤3中的圆心坐标变换公式一,将步骤7得到的点A的像素坐标(ua,va)转换成点A在相机坐标系下的相机坐标(xca、yca、zca);然后利用圆心坐标变换公式二将点A的相机坐标(xca、yca、zca)转换成机械臂基座坐标系下的机械臂基座坐标(xba、yba、zba),所述圆心坐标变换公式二的表达式为:
其中,是机械臂手眼标定出的相机外参矩阵,/>是由机械臂系统得出的齐次变换矩阵;
步骤9,驱动6自由度机械臂使其末端执行器到达(xba、yba、zba)位姿,随后末端执行器按下按钮开关,完成操作;
步骤10,6自由度机械臂恢复到不操作时的位姿,等待下次操作的指令;
所述相机外参矩阵用于描述机械臂末端坐标系相对于相机坐标系的位姿变换,其表达式为:
式中,是一个3×3的旋转矩阵,用于描述机械臂末端坐标系相对于相机坐标系的坐标旋转,/>是一个3×1的平移向量,用于描述机械臂末端坐标系相对于相机坐标系的坐标平移。
2.根据权利要求1所述的一种基于视觉的机器人机械臂末端位姿的调整方法,步骤2所述图像处理包括图像灰度化和霍夫圆变换,步骤7所述图像处理包括格式转换和霍夫圆变换;
所述图像灰度化指的是利用图像处理工具将原图灰度化,使黑白区分更加明显;所述格式转换指的是利用图像处理工具将RGB格式的图像转化为HSV格式的图像;所述霍夫圆变换是用于检测出图像中存在的圆,并获得其圆心像素坐标。
3.根据权利要求1所述的一种基于视觉的机器人机械臂末端位姿的调整方法,其特征在于,所述机械臂基座坐标系以机械臂基座中心点为原点建立的坐标系,包括机械臂基座Xb轴、机械臂基座Yb轴和机械臂基座Zb轴,其中,机械臂基座Zb轴和第一关节轴平行,机械臂基座Xb轴以AGV小车正前方为正方向,机械臂基座Yb轴由坐标系右手法则确定。
4.根据权利要求1所述的一种基于视觉的机器人机械臂末端位姿的调整方法,其特征在于,所述齐次变换矩阵用于描述机械臂末端坐标系相对于机械臂基座坐标系的位姿变换,其表达式为:
式中,是一个3×3的旋转矩阵,用于描述机械臂末端坐标系相对于机械臂基座坐标系的坐标旋转,/>是一个3×1的平移向量,用于描述机械臂末端坐标系相对于机械臂基座坐标系的坐标平移;
所述机械臂末端坐标系为以关节六中心为原点建立的坐标系,包括机械臂末端Xe轴、机械臂末端Ye轴和机械臂末端Ze轴,其中,机械臂末端Ze轴为末端旋转轴,竖直向下方向为机械臂末端Xe轴正方向,机械臂末端Ye轴由坐标系右手法则确定;所述机械臂基座坐标系以机械臂基座中心点为原点建立的坐标系,包括机械臂基座Xb轴、机械臂基座Yb轴和机械臂基座Zb轴,其中,机械臂基座Zb轴和第一关节轴平行,机械臂基座Xb轴以AGV小车正前方为正方向,机械臂基座Yb轴由坐标系右手法则确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210063000.0A CN114378822B (zh) | 2022-01-19 | 2022-01-19 | 一种基于视觉的机器人机械臂末端位姿的调整方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210063000.0A CN114378822B (zh) | 2022-01-19 | 2022-01-19 | 一种基于视觉的机器人机械臂末端位姿的调整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114378822A CN114378822A (zh) | 2022-04-22 |
CN114378822B true CN114378822B (zh) | 2023-09-01 |
Family
ID=81203302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210063000.0A Active CN114378822B (zh) | 2022-01-19 | 2022-01-19 | 一种基于视觉的机器人机械臂末端位姿的调整方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114378822B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115042175A (zh) * | 2022-06-10 | 2022-09-13 | 合肥工业大学 | 一种机器人机械臂末端姿态的调整方法 |
CN115319737B (zh) * | 2022-07-12 | 2023-06-27 | 广州里工实业有限公司 | 一种自动化上下料控制方法、系统、装置及存储介质 |
CN115302505B (zh) * | 2022-08-05 | 2023-06-13 | 广州里工实业有限公司 | 一种路径修正方法、系统、储存介质及机床设备 |
CN115824051A (zh) * | 2023-01-10 | 2023-03-21 | 江苏智慧优视电子科技有限公司 | 一种可实现快速迭代收敛的重卡电池视觉定位方法及系统 |
CN116512286B (zh) * | 2023-04-23 | 2023-11-14 | 九众九机器人有限公司 | 一种六自由度冲压机器人及其冲压方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
CN110900581A (zh) * | 2019-12-27 | 2020-03-24 | 福州大学 | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 |
CN112132894A (zh) * | 2020-09-08 | 2020-12-25 | 大连理工大学 | 一种基于双目视觉引导的机械臂实时跟踪方法 |
CN113084808A (zh) * | 2021-04-02 | 2021-07-09 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
WO2021217976A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 一种基于单目视觉定位的机械臂控制方法及装置 |
-
2022
- 2022-01-19 CN CN202210063000.0A patent/CN114378822B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
CN110900581A (zh) * | 2019-12-27 | 2020-03-24 | 福州大学 | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 |
WO2021217976A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 一种基于单目视觉定位的机械臂控制方法及装置 |
CN112132894A (zh) * | 2020-09-08 | 2020-12-25 | 大连理工大学 | 一种基于双目视觉引导的机械臂实时跟踪方法 |
CN113084808A (zh) * | 2021-04-02 | 2021-07-09 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114378822A (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114378822B (zh) | 一种基于视觉的机器人机械臂末端位姿的调整方法 | |
CN111300422B (zh) | 基于视觉图像的机器人工件抓取位姿误差补偿方法 | |
CN107214703B (zh) | 一种基于视觉辅助定位的机器人自标定方法 | |
CN109483516B (zh) | 一种基于空间距离和极线约束的机械臂手眼标定方法 | |
CN110103217B (zh) | 工业机器人手眼标定方法 | |
CN109591011B (zh) | 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法 | |
CN107160380B (zh) | 一种基于scara机械手的相机标定和坐标变换的方法 | |
JP4191080B2 (ja) | 計測装置 | |
CN111127568B (zh) | 一种基于空间点位信息的相机位姿标定方法 | |
US20110320039A1 (en) | Robot calibration system and calibrating method thereof | |
WO2020024178A1 (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
WO2023193362A1 (zh) | 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法 | |
CN104552341B (zh) | 移动工业机器人单点多视角挂表位姿误差检测方法 | |
CN113001535A (zh) | 机器人工件坐标系自动校正系统与方法 | |
CN114289934B (zh) | 一种基于三维视觉的大型结构件自动化焊接系统及方法 | |
CN110125944B (zh) | 一种机械臂示教系统和方法 | |
CN115042175A (zh) | 一种机器人机械臂末端姿态的调整方法 | |
CN113211431B (zh) | 基于二维码修正机器人系统的位姿估计方法 | |
CN114519738A (zh) | 一种基于icp算法的手眼标定误差修正方法 | |
CN113103235B (zh) | 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 | |
CN112621743A (zh) | 机器人及其相机固定于末端的手眼标定方法及存储介质 | |
CN114643578A (zh) | 一种提高机器人视觉引导精度的标定装置及方法 | |
CN114474056A (zh) | 一种面向抓取操作的单目视觉高精度目标定位方法 | |
CN109465831A (zh) | 一种提升工业机器人工具坐标系标定精度的方法 | |
CN114833832A (zh) | 一种机器人手眼标定方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |