CN109900251A - 一种基于视觉技术的机器人定位装置及方法 - Google Patents
一种基于视觉技术的机器人定位装置及方法 Download PDFInfo
- Publication number
- CN109900251A CN109900251A CN201711286994.8A CN201711286994A CN109900251A CN 109900251 A CN109900251 A CN 109900251A CN 201711286994 A CN201711286994 A CN 201711286994A CN 109900251 A CN109900251 A CN 109900251A
- Authority
- CN
- China
- Prior art keywords
- robot
- coordinate system
- structured light
- camera
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005516 engineering process Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 1
- 230000004807 localization Effects 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 22
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005571 horizontal transmission Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉技术的机器人定位装置及方法，所述系统装置包括线结构光自扫描装置、机器人模块和上位计算机；所述线结构光自扫描装置包括工业相机、激光器和振镜；所述机器人模块包括机器人本体与机器人控制器。所述系统方法为机器人手眼关系与工具坐标系联合标定的方法，利用该方法，系统最终实现工业机器人对随机位姿目标对象的三维定位，能够应用于机器人抓取、搬运作业任务。
Description
技术领域
本发明涉及机器人定位技术领域，特别是涉及一种基于视觉技术的机器人定位装置及方法。
背景技术
对机器人多数应用场景而言，需要预先知道目标对象的位姿才能完成相应的作业任务。目前在机器人的工业应用中，大都通过手动示教或离线编程的方式来规划机器人的工作路径，然而这种方法严格限定了目标对象的起始位姿和终止位姿，只能机械地重复提前规划好的路径，且不同的工作对象需要分别示教以得到相应的示教文件，高度结构化的工作环境严重制约了机器人的工作效率、灵活性和智能性，无法满足柔性生产系统的要求。
目前的机器人定位系统多采用以下两种：
(1)基于双目立体视觉的机器人定位方法：此方式可以实现目标对象的快速、非接触三维定位，但双目视觉对应点难以匹配，仅能应用于具有显著特征的目标对象；
(2)工件固定相机：基于二维视觉的引导系统，只能应用于无定位水平传送场合，无法实现三维视觉引导。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于视觉技术的机器人定位装置，该装置采用机器人手眼关系和工具坐标系联合标定的方法，将目标对象的三维位姿从相机坐标系转换至机器人工具坐标系，最终实现工业机器人随机位姿目标对象的三维定位。
本发明的另一个目的在于提供一种应用上述一种基于视觉技术的机器人定位装置实现的方法，提出机器人手眼关系和工具坐标系联合标定的方法，与两者独立标定相比，不存在误差传递问题，提高了机器人的定位精度。再者，系统参数的标定方法简便易行，利用平面棋盘靶标即可完成系统各模块的参数标定，能够满足工业现场需求。
本发明解决上述技术问题的技术方案为：
一种基于视觉技术的机器人定位装置及方法，其特征在于，所述系统装置包括线结构光自扫描装置、机器人模块和上位计算机。其中，所述的线结构光自扫描装置由工业相机、激光器和振镜构成，作为系统中的视觉传感器，其借助振镜转动实现激光平面对目标对象的扫描，并通过对相机拍摄到的图像进行处理，获取目标对象在相机坐标系下的三维位姿；所述机器人模块包括机器人本体与机器人控制器；其中，所述机器人控制器用于接收所述上位计算机发来的控制指令，控制所述机器人本体；所述机器人本体用于实现对随机位姿目标对象的指定操作；当获取到目标对象在机器人工具坐标系下的位姿，机器人本体便根据定位结果，其机械臂带动末端执行工具移动至目标位姿，进行相应的操作；所述的上位计算机用于对振镜转角进行精准控制、对采集到的图像进行处理以及发送指令给所述机器人控制器。
所述的方法为机器人手眼关系和工具坐标系联合标定，其中：
系统方法的实现需要完成三项参数标定工作：线结构光自扫描装置参数标定、相机和机器人手眼关系标定、机器人工具坐标系标定。
本发明的一种基于视觉技术的机器人定位方法中的相机和机器人手眼关系标定方法，采用手眼关系和工具坐标系联合标定的方式，即将棋盘靶标固定于工具一侧，棋盘靶标将跟随工具运动，相机拍摄各个位姿下的棋盘靶标，同时记录机器人在这些位置时的位姿，利用各种矩阵求解方法，最终标定出靶标相对于机器人末端法兰的齐次变换矩阵。
本发明与现有技术相比具有以下的有益效果：
1、线结构光自扫描装置和工业机器人组成Eye to Hand式手眼视觉系统，通过线结构光自扫描获取目标对象在相机坐标系下三维位姿，再根据机器人手眼关系，实现机器人对目标对象的定位，实现了三维视觉引导；
2、提出一种机器人手眼关系和工具坐标联合标定的方法，与两者独立标定相比，不存在误差传递问题，一定程度提高了机器人定位精度。
附图说明
图1为本发明的一种基于视觉技术的机器人定位装置的一个具体实施方式的结构示意图。
图2为机器人手眼关系和工具坐标系联合标定方法的流程图。
图3为线结构光自扫描装置参数标定示意图。
图4为机器人手眼关系与工具坐标系联合标定方案的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本发明的一种基于视觉技术的机器人定位装置由线结构光自扫描装置、机器人模块与上位计算机构成，其中：
参见图1，所述的线结构光自扫描装置包括工业相机1、振镜2、激光器3；其中，所述的工业相机1在其工作范围内拍摄多幅处于不同位姿下的二维棋盘靶标图像；所述的振镜2通过上位计算机7发出的电压信号来精确控制转角；所述的激光器3发出的线结构光平面经振镜2反射投射到目标对象6表面形成激光光条，其中，标定激光器3形成的激光光条后，通过上位计算机7的处理，可获得目标对象6在相机坐标系下的位姿；所述的机器人4根据目标对象6在机器人工具坐标系下的位姿，其机械臂5带动末端执行工具移动至目标位姿，并进行相应的操作。
参见图2，所述的机器人手眼关系和工具坐标系联合标定方法的流程，包括以下步骤：
S1：线结构光自扫描装置参数标定，即建立振镜和相机之间的位姿转换关系，参见图3的线结构光自扫描装置参数标定示意图，具体方法如下：
S11：标定相机内参数：在相机工作范围内，拍摄多幅处于不同位姿下的二维棋盘靶标图像，采用张正友摄像机标定算法(出自论文A flexible new technique for cameracalibration[J],作者张正友，IEEE Transactions on Pattern Analysis & MachineIntelligence,2000,22(11):1330-1334)标定相机内参数，包括相机焦距f，主点坐标(u0，v0)，以及畸变系数k1、k2、p1、p2。
S12：标定相机坐标系和线结构光坐标系之间的齐次变换矩阵：控制振镜输入电压为U0，此时激光平面经振镜反射后的出射角为在线结构光自扫描装置工作范围内，将棋盘靶标以不同位姿依次摆放，获取m(m≥2)幅棋盘靶标图像及相应位姿的光条图像；采用张正友摄像机标定算法计算相机坐标系与靶标坐标系间的外参数矩阵R、T，进而将提取到的激光光条中心(参考论文A multi-scale analysis based method for extractingcoordinates of laser light stripe centers[J],作者李凤娇,李小菁,刘震,ActaOptica Sinica,20104,34(11):1110002.及论文Extrication method for sub-pixelcenter of linear structured light stripe[J],作者江永付,江开勇,林俊义,Laser&Optoelectronics Process,2015,52(7):071502)转换到相机坐标系下；基于这m条不重合的激光光条，采用最小二乘法拟合激光平面，其平面向量为n0＝(a0,b0,c0)。依次改变振镜控制电压为U1、U2…Un-1(n≥2)，重复上述步骤，获取各个电压下的光平面在相机坐标系下的方程，光平面法向量为ni＝(ai,bi,ci)。
各电压下出射光平面的交线即为振镜转轴，它与各光平面法向量垂直，以光平面法向量与振镜转轴的方向向量点乘积为优化目标，获得振镜坐标系xw轴的方向向量。定义控制电压为U0时光平面的法向量为振镜坐标系yw轴方向向量，则zw轴的方向向量为xw×yw。以振镜xw轴与相机坐标系oyz平面的交点作为振镜坐标系的原点，那么到各光平面距离最小的点(0,ty,tx)即为振镜坐标原点在相机坐标系下的坐标。
通过上述标定过程，获取相机坐标系与振镜坐标系的齐次变换矩阵，从而建立两坐标系如下的转换关系：
其中，(xc,yc,zc)为目标点在相机坐标系坐标值，(xw,yw,zw)为目标点在振镜坐标系坐标值。
出射光平面在振镜坐标系下的方程为：
其中，为激光平面经振镜反射后的出射角。
由相机小孔成像模型可知：
其中，(u,v)为以CCD图像平面的左上角顶点为原点的像素坐标系坐标值，Nx、Ny分别表示每个像素在图像平面x和y方向上的物理尺寸。
联立方程(1)、(2)、(3)可得：
通过求解方程组(4)，即可求得目标点在振镜坐标系下坐标(xw,yw,zw)，根据相机坐标系和振镜坐标系之间的齐次变换矩阵，进而获取目标点在相机坐标系坐标(xc,yc,zc)。
S2：相机和机器人手眼关系标定，即建立线结构光自扫描装置与机器人之间的位姿转换关系，具体方法如下：
参见图4，将棋盘靶标6固定于工具一侧，棋盘靶标6将跟随工具运动，相机1拍摄各个位姿下的棋盘靶标，同时记录工业机器人5在这些位置时的位姿。
记CW为机器人基坐标系，定义于机器人基座；CC为摄像机坐标系，原点定义在相机光学中心；CTCP为机器人末端法兰坐标系；CObj为平面靶标坐标系；CTool为机器人工具坐标系。
空间中任意两坐标系之间的齐次变换矩阵可以表示为：
其中，R为3×3单位正交矩阵，代表两坐标系间的旋转关系；T为3×1平移矩阵，代表两坐标系间的位置偏移量；0为3×1零矩阵。
在标定过程中，机器人每移动一个位置，即可获取一个齐次变换矩阵以及对应的齐次变换矩阵在该系统中，各坐标系之间的齐次变化关系满足：
其中为平面靶标坐标系到相机坐标系之间的转换关系，即相机的外参数，根据机器人拍摄到的靶标图像和已经标定的相机内参数，采用张正友标定法可以求出；为相机坐标系到机器人坐标系之间的齐次转换矩阵，由于这两个坐标系是固定不动的，因而唯一不变；为棋盘靶标坐标系到机器人法兰坐标系之间的齐次变换矩阵，这两个坐标系的位置随机器人的运动而改变，但是这两个坐标系的相对位置固定不变，因而也是唯一的；为机器人法兰坐标系到机器人基坐标系之间的齐次变换矩阵，可以通过机器人正向运动学求解。
鉴于偏移量T的数值量级远大于旋转矩阵R，直接求解齐次变换矩阵难以满足工程实际需要。依据齐次变换矩阵的数学特征和几何意义，将式(6)分解成旋转和平移两部分，采用两步法(出自论文《两步法标定机器人手眼关系研究【J】，作者谢发忠，吴年祥，长春工程学院学报，2012,13(03):112-116)依次求取齐次变换矩阵中的R和T：
将上式展开可以得到：
首先求解旋转矩阵将代入式(9)求解两个齐次变换矩阵中的偏移量部分，机器人每个位姿下可列出3个线性非齐次方程，利用线性最小二乘法求解超定方程组，可以求得位置偏移量
S3：机器人工具坐标系标定，即建立工具与机器人法兰之间的位姿转换关系，具体方法如下：
在S2步骤完成机器人手眼关系标定的基础上，接下来进行标定工具坐标系，即确定工具坐标系到机器人末端法兰的齐次变换矩阵。在上述手眼关系标定过程中，已经标定出靶标相对于机器人末端法兰的齐次变换矩阵同时依据机械抓手和靶标的加工尺寸，在忽略靶标固定误差的前提下，可以得到靶标到工具的齐次变换矩阵其中：
根据齐次变换关系可知，法兰坐标系到工具坐标系的齐次变换关系满足：
由于平面靶标坐标系，工具坐标系坐标轴易于对齐，且靶标与工具尺寸已知，因而由于固定偏差给带来的误差在允许范围内，小于工具坐标系独立标定带来误差，满足工程应用需求。这种工具坐标系标定方案能够简化标定步骤，提高工作效率，同时避免了独立标定带来的累积误差，适用于跟随机械臂运动而自身不具有自由度的执行工具。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (2)
1.一种基于视觉技术的机器人定位装置，其特征在于，该系统装置包括线结构光自扫描装置、机器人模块和上位计算机，其中，
所述的线结构光自扫描装置用于获取目标对象在相机坐标系下的三维位姿；所述的线结构光自扫描装置包括工业相机、振镜和激光器；所述工业相机用于拍摄需进行处理的图像；所述激光器发出线结构光平面经振镜反射投射到被测物体表面并形成激光光条；所述振镜起反射作用，其转动的转角可通过上位计算机发出的电压信号精准控制；
所述机器人模块包括机器人本体与机器人控制器；其中，所述机器人控制器用于接收所述上位计算机发来的控制指令，控制所述机器人本体；所述机器人本体用于实现对随机位姿目标对象的指定操作。
所述的上位计算机用于对振镜转角进行精准控制、对采集到的图像进行处理以及发送指令给所述机器人控制器。
2.一种应用权利要求1所述的一种基于视觉技术的机器人定位装置实现的方法，其特征在于，该方法通过机器人手眼关系与工具坐标系联合标定，实现将目标对象的三维位姿从相机坐标系转换至机器人坐标系，从而最终实现机器人对随机位姿目标对象的三维定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711286994.8A CN109900251A (zh) | 2017-12-07 | 2017-12-07 | 一种基于视觉技术的机器人定位装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711286994.8A CN109900251A (zh) | 2017-12-07 | 2017-12-07 | 一种基于视觉技术的机器人定位装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109900251A true CN109900251A (zh) | 2019-06-18 |
Family
ID=66939484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711286994.8A Pending CN109900251A (zh) | 2017-12-07 | 2017-12-07 | 一种基于视觉技术的机器人定位装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109900251A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110500999A (zh) * | 2019-08-09 | 2019-11-26 | 唐山英莱科技有限公司 | 一种基于视觉装置的相对位置测量方法 |
| CN110553600A (zh) * | 2019-08-14 | 2019-12-10 | 华南理工大学 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
| CN112116665A (zh) * | 2020-09-15 | 2020-12-22 | 山东省科学院激光研究所 | 一种结构光传感器标定方法 |
| WO2021012124A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人手眼标定方法、装置、计算设备、介质以及产品 |
| DE102023105674A1 (de) | 2023-03-07 | 2024-09-12 | Isios Gmbh | Verfahren und Anordnung zur Kompensation nicht-geometrischer Fehlereinflüsse auf eine Roboterabsolutgenauigkeit mittels eines Laser-Sensor-Systems |
-
2017
- 2017-12-07 CN CN201711286994.8A patent/CN109900251A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021012124A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人手眼标定方法、装置、计算设备、介质以及产品 |
| CN110500999A (zh) * | 2019-08-09 | 2019-11-26 | 唐山英莱科技有限公司 | 一种基于视觉装置的相对位置测量方法 |
| CN110553600A (zh) * | 2019-08-14 | 2019-12-10 | 华南理工大学 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
| CN112116665A (zh) * | 2020-09-15 | 2020-12-22 | 山东省科学院激光研究所 | 一种结构光传感器标定方法 |
| CN112116665B (zh) * | 2020-09-15 | 2024-01-30 | 山东省科学院激光研究所 | 一种结构光传感器标定方法 |
| DE102023105674A1 (de) | 2023-03-07 | 2024-09-12 | Isios Gmbh | Verfahren und Anordnung zur Kompensation nicht-geometrischer Fehlereinflüsse auf eine Roboterabsolutgenauigkeit mittels eines Laser-Sensor-Systems |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108098762A (zh) | 一种基于新型视觉引导的机器人定位装置及方法 | |
| US11117262B2 (en) | Intelligent robots | |
| CN107883929B (zh) | 基于多关节机械臂的单目视觉定位装置及方法 | |
| CN109900251A (zh) | 一种基于视觉技术的机器人定位装置及方法 | |
| US8244402B2 (en) | Visual perception system and method for a humanoid robot | |
| CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| Hu et al. | Automatic calibration of hand–eye–workspace and camera using hand-mounted line laser | |
| JP2013036988A (ja) | 情報処理装置及び情報処理方法 | |
| CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN109794963A (zh) | 一种面向曲面构件的机器人快速定位方法 | |
| CN113172659B (zh) | 基于等效中心点识别的柔性机器人臂形测量方法及系统 | |
| CN112109072B (zh) | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 | |
| Shah et al. | An experiment of detection and localization in tooth saw shape for butt joint using KUKA welding robot | |
| Hvilshøj et al. | Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices | |
| CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取系统和方法 | |
| US20240003675A1 (en) | Measurement system, measurement device, measurement method, and measurement program | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| CN115972192A (zh) | 具有可变空间分辨率的3d计算机视觉系统 | |
| Nakhaeinia et al. | Adaptive robotic contour following from low accuracy RGB-D surface profiling and visual servoing | |
| Ren et al. | Vision based object grasping of robotic manipulator | |
| CN112123329B (zh) | 一种机器人3d视觉手眼标定方法 | |
| Wang et al. | Robotic assembly system guided by multiple vision and laser sensors for large scale components | |
| Xu et al. | Welding robotic hand-eye calibration method based on structured light plane | |
| US12128571B2 (en) | 3D computer-vision system with variable spatial resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190618 |