CN117798906A - 双目视觉和机械臂联动的大范围高精度姿态测量对准方法 - Google Patents
双目视觉和机械臂联动的大范围高精度姿态测量对准方法 Download PDFInfo
- Publication number
- CN117798906A CN117798906A CN202311752416.4A CN202311752416A CN117798906A CN 117798906 A CN117798906 A CN 117798906A CN 202311752416 A CN202311752416 A CN 202311752416A CN 117798906 A CN117798906 A CN 117798906A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- target product
- coordinate system
- pose
- left camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004438 eyesight Effects 0.000 title claims abstract description 33
- 238000005259 measurement Methods 0.000 title claims abstract description 30
- 239000000047 product Substances 0.000 claims abstract description 91
- 239000007795 chemical reaction product Substances 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000013519 translation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种双目视觉和机械臂联动的大范围高精度姿态测量对准方法，应用于的测量对准系统包括可移动式升降车、机械臂，机械臂设置在可移动式升降车上，且承载双目测试相机和机械臂末端产品；对准方法包括：利用双目相机对目标产品进行拍照；根据目标产品的深度信息，确定目标产品在左相机坐标系下的位姿；将目标产品在左相机坐标系下的位姿转换为目标产品相对机械臂末端的位姿；根据目标产品相对机械臂末端的位姿和机械臂末端产品相对机械臂末端的位姿，控制机械臂进行平移和旋转操作，实现两产品对准。本申请解决远距离高精度空间姿态测量，一个解决小范围空间姿态灵活变换，确保产品远距离对准过程中快速、精准、高效对齐。
Description
技术领域
本申请涉及软件工程、电子工程的技术领域，特别是一种双目视觉和机械臂联动的大范围高精度姿态测量对准方法。
背景技术
多自由度机械臂具有高速、灵活等特点，在生产生活中扮演着重要的角色，应用越来越广泛。然而，大部分的机械臂都是工作在已知的工作环境中的。若环境发生变化，则需要对机械臂做出相应调整。机械臂自主适应未知环境的能力较差。为了使机械臂具有自主从未知环境中获取信息的能力，需要给机械臂配备各种外部传感器，如触觉、距离和视觉传感器等。其中视觉传感器具有信号范围大、信息完整等特点，被认为是最重要的传感器。机器人视觉控制技术的出现，为解决机械臂在未知环境中的自主动作问题提供了基础。随着机械臂数量的增多和应用领域的扩大，对多自由度机械臂进行视觉控制研究的需求显得越来越迫切。
视觉是人类观察世界和认知世界的重要手段。据统计，人类从外部世界获得的信息大约有80％是由视觉获取的。这既说明视觉信息量巨大，也表明人类视觉功能的重要性。随着信息技术的发展，给机器臂赋予视觉功能，是人类多年以来的梦想(机器臂视觉控制指的是机器臂自动对视觉信息进行获取和分析，在最短的时间内根据分析结果给出控制信息，完成对机器臂的控制)。如果能够使机器臂具有人类那样高效、灵活和通用的视觉，就能够解放劳动力，提高生产效率。
发明内容
本申请提供一种双目视觉和机械臂联动的大范围高精度姿态测量对准方法，目的是解决现有技术中对于远距离产品精准对准过程中，利用多台经纬仪或激光跟踪仪组网来实现远距离产品位姿测量，需要多人参与、成本高，同时对准效率低，无法适应快速的产品对准使用环境的问题。
第一方面，提供了一种双目视觉和机械臂联动的大范围高精度姿态测量对准方法，所述方法应用于测量对准系统，所述测量对准系统包括可移动式升降车、机械臂、双目测试相机和机械臂末端产品，机械臂设置在可移动式升降车上，且承载双目测试相机和机械臂末端产品；所述方法包括：
利用双目相机对目标产品进行拍照；
根据目标产品的深度信息，确定目标产品在左相机坐标系下的位姿；
将目标产品在左相机坐标系下的位姿转换为目标产品相对机械臂末端的位姿；
根据目标产品相对机械臂末端的位姿和机械臂末端产品相对机械臂末端的位姿，控制机械臂进行平移和旋转操作，实现两产品对准。
结合第一方面，在第一方面的某些实现方式中，所述目标产品的深度信息满足：
上式中，f为焦距，T表示双目系统中左右两个相机之间的基线距离，d＝xl-xc表示视差。
结合第一方面，在第一方面的某些实现方式中，所述根据目标产品的深度信息，确定目标产品在左相机坐标系下的位姿，包括：
根据公式：和内参矩阵，求出目标产品上任一一点在左侧相机坐标系下的坐标(Xc，Yc，Zc)。
结合第一方面，在第一方面的某些实现方式中，所述确定目标产品在左相机坐标系下的位姿，包括：
根据目标产品的深度图像上靶点的坐标拟合成平面方程，得到目标产品轮廓的位姿信息。
结合第一方面，在第一方面的某些实现方式中，所述拟合成平面方程，包括：
求解其中，D′＝A·X，
求解最小的amin，bmin，cmin参数，进而求解靶点左相机坐标系下的坐标(Xci′，Yci′，Zci′)。
结合第一方面，在第一方面的某些实现方式中，所述将目标产品在左相机坐标系下的位姿转换为目标产品相对机械臂末端的位姿，满足：
机械臂坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的变换关系为Pc＝Rw×Pw+Qw，Rw为转换矩阵，Qw为平移矩阵，Pw为机械臂坐标系下的坐标，Pc为左相机坐标系下的坐标。
结合第一方面，在第一方面的某些实现方式中，Qw根据目标产品坐标系原点D确定，包括：
则为目标产品坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的平移矩阵，D在左相机坐标系OcXcYcZc下的坐标为(XcD′，YcD′，ZcD′)。
结合第一方面，在第一方面的某些实现方式中，Rw根据以下方式得到：
B在目标产品坐标系OwXwYwZw下的坐标系为(0 YwB 0)，在左相机坐标系OcXcYcZc下的坐标为(XcB′，YcB′，ZcB′)，
由此可求出
C在目标产品坐标系OwXwYwZw下的坐标系为(XwC YwC 0)，在左相机坐标系OcXcYcZc下的坐标为(XcC′，YcC′，ZcC′)，
由此求解出
结合第一方面，在第一方面的某些实现方式中，所述根据目标产品相对机械臂末端的位姿和机械臂末端产品相对机械臂末端的位姿，控制机械臂进行平移和旋转操作，实现两产品对准，包括：
根据已知目标产品、机械臂末端产品相对机械臂末端的姿态，求解机械臂末端产品和目标产品在机械臂末端坐标系下位姿差值，将差值发送给机械臂控制机械臂末端运行到指定位置后，对准系统进行下一次测量和运动，直至差值小于预设阀值，实现远距离机械臂末端产品和目标产品高效精确对准。
第二方面，提供了一种双目视觉和机械臂联动的大范围高精度姿态测量对准系统，包括可移动式升降车、机械臂、双目测试相机、机械臂末端产品和控制器，机械臂设置在可移动式升降车上，且承载双目测试相机和机械臂末端产品，所述控制器用于执行如上述第一方面中的任意一种实现方式中所述的方法。
与现有技术相比，本申请提供的方案至少包括以下有益技术效果：
本发明采用机械臂和双目视觉相结合，一个解决远距离高精度空间姿态测量，一个解决小范围空间姿态灵活变换，实现2～10m远距离大范围空间姿态对准，角度对准精度0.1°，单次对准时间优于3min，解决原有测量手段需要多人多经纬仪组网长时间对准的问题，确保产品远距离对准过程中快速、精准、高效对齐。
附图说明
图1表示本发明实施例所述的是整体系统立示意图。
图2表示本发明实施例所述的靶点布局。
图3表示本发明实施例所述的双目视觉系统示意图。
图4表示本发明实施例所述的机械臂末端产品与目标产品在机械臂末端产品平面坐标系下位置关系。
具体实施方式
下面结合附图和具体实施例对本申请作进一步详细的描述。
本申请实施例提供一种双目视觉和机械臂联动的大范围高精度姿态测量对准方法。该方法所应用的测量对准系统如图1所示。
测量对准系统可以包括可移动式升降车、机械臂、双目测试相机和机械臂末端产品。在可移动式升降车上安装有机械臂，机械臂上安装有双目测试相机。可移动式升降平台车主要实现机械臂末端产品大范围高度和位移调节能力，满足设备在厂房内转移功能。双目测试相机用于远距离目标产品空间姿态测量功能，机械臂承载着机械臂末端产品，可依据视觉测量数据进行机械臂末端产品小范围空间高精度姿态运动调节，最终实现机械臂末端产品和目标产品远距离精准对准。
双目视觉和机械臂联动的大范围高精度姿态测量对准方法具体包括如下步骤。
(1)依照视觉测量算法，对双目相机分别进行标定，并将标识板分别标志在目标产品及机械臂末端的合适位置，确保相机可以正确的检测出标识点和标识板。可移动式升降车经控制停靠在距目标产品2～10m的距离范围，升降台自动控制上升，两者相互配合，将机械臂末端产品托举上升至与目标产品大致对应的位置。
(2)在目标产品边缘的圆周上，近似等间距布置3个靶点P1,P2,P3。为了降低布点难度，靶点间距布置可以不进行精确要求，后续在测量位姿解算时利用算法拟合处目标产品中心坐标和平面姿态。
(3)相机对目标产品进行拍照工作。以P1,P2,P3靶点代表目标产品的位置状态，建立目标产品坐标系OwXwYwZw，而左相机坐标系设为OcXcYcZc。在视觉系统中，双目立体视觉系统大多数由左右相机是从不同的角度进行拍摄。通过左右两个相机拍摄的图像可以基于视差原理恢复出目标物体的三维坐标信息。两台照相机的焦距是相同的，另外它们的光轴平行且处于同一个平面，
由三角形相似可推导出公式：
即
上式中，T表示双目系统中左右两个相机之间的基线距离，d＝xl-xc表示视差，可由立体匹配算法求出。Zc表示深度，T越大，Zc就越大；d越大，Zc就越小。根据三角关系测量原理，可以求得深度Zc，再根据公式：和内参矩阵就可以求得点的横坐标Xc和纵坐标Yc，即可唯一求得点在相机坐标系下的空间坐标。通过这一步可以求出目标产品上任一一点在左侧相机坐标系下的坐标(Xc，Yc，Zc)。
(4)上一步骤中可求解目标产品上任一一点相对于左侧相机坐标系下的坐标。但为了减少运算量，保证测量效率，需要对目标产品图像进行裁剪，只计算3个靶点及其周围产品边缘点相对于左相机的坐标，并把靶点周围产品边缘点坐标拟合成平面方程，拟合依据是该平面到所有点距离之和最小。
首先定义平面方程：
其中，a,b,c,d为空间平面常数
设得到的点的平均坐标为则该点一定位于平面内，将该点带入上式中并相减得到：
式中：(Xci，Yci，Zci)-为测量得到的第i个点相对于左相机三维坐标
d′i-实际点到拟合平面距离差值
将所有n个测量点都带入上式可得
A·X＝D′
其中：
要使平面到所有点距离之和最小，则需要A·X＝D′最小，通过迭代计算求解D′最小的amin，bmin，cmin参数。根据新的平面参数求解三个靶点相对于左坐系的新坐标(Xci′，Yci′，Zci′)。
目标产品坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的变换关系可设为Pc＝Rw×Pw+Qw，用矩阵表示为：
设D是目标产品坐标系OwXwYwZw的原点，则在目标产品坐标系OwXwYwZw下的坐标系为(0，0，0)，在左相机坐标系OcXcYcZc下的坐标为(XcD′，YcD′，ZcD′)，代入公式可得：
则为目标产品坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的平移矩阵。
设A、B的连线为目标产品坐标系OwXwYwZw的Y轴方向，即B在Y轴方向，此时B在目标产品坐标系OwXwYwZw下的坐标系为(0 YwB 0)，在左相机坐标系OcXcYcZc下的坐标为(XcB′，YcB′，ZcB′)。带入公式可得：
由此可求出
设C在OwXwYw平面上，此时C在目标产品坐标系OwXwYwZw下的坐标系为(XwC YwC 0)，在左相机坐标系OcXcYcZc下的坐标为(XcC′，YcC′，ZcC′)，。带入公式可得：
可以求解出
因而可以求出(叉乘)
从而得到目标产品坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的变换关系中的转换矩阵Rw和平移矩阵Qw。
(5)由于在整个系统运行过程中，双目相机、机械臂末端以及机械臂末端产品采用刚体固定安装方式，即在整个过程中相对位姿关系不便，前期通过标定可以得到机械臂末端产品相对机械臂末端的位姿关系。由上步可得出目标产品相对应左相机的位姿关系，通过坐标转换可以得出目标产品相对机械臂末端的姿态。已知目标产品、机械臂末端产品相对机械臂末端的姿态，求解机械臂末端产品和目标产品在机械臂末端坐标系下位姿差值，将差值发送给机械臂控制机械臂末端运行到指定位置后，对准系统进行下一次测量和运动，直至差值小于前期所设的阀值，由此可实现远距离机械臂末端产品和目标产品高效精确对准。
本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此，本发明的保护范围应当以本发明权利要求所界定的范围为准。
Claims (10)
1.一种双目视觉和机械臂联动的大范围高精度姿态测量对准方法，其特征在于，所述方法应用于测量对准系统，所述测量对准系统包括可移动式升降车、机械臂、双目测试相机和机械臂末端产品，机械臂设置在可移动式升降车上，且承载双目测试相机和机械臂末端产品；所述方法包括：
利用双目相机对目标产品进行拍照；
根据目标产品的深度信息，确定目标产品在左相机坐标系下的位姿；
将目标产品在左相机坐标系下的位姿转换为目标产品相对机械臂末端的位姿；
根据目标产品相对机械臂末端的位姿和机械臂末端产品相对机械臂末端的位姿，控制机械臂进行平移和旋转操作，实现两产品对准。
2.根据权利要求1所述的方法，其特征在于，所述目标产品的深度信息满足：
上式中，f为焦距，T表示双目系统中左右两个相机之间的基线距离，d＝xl-xc表示视差。
3.根据权利要求2所述的方法，其特征在于，所述根据目标产品的深度信息，确定目标产品在左相机坐标系下的位姿，包括：
根据公式：和内参矩阵，求出目标产品上任一一点在左侧相机坐标系下的坐标(Xc，Yc，Zc)。
4.根据权利要求1所述的方法，其特征在于，所述确定目标产品在左相机坐标系下的位姿，包括：
根据目标产品的深度图像上靶点的坐标拟合成平面方程，得到目标产品轮廓的位姿信息。
5.根据权利要求4所述的方法，其特征在于，所述拟合成平面方程，包括：
求解其中，D′＝A·X，
求解最小的amin，bmin，cmin参数，进而求解靶点左相机坐标系下的坐标(Xci ′，Yci ′，Zci ′)。
6.根据权利要求5所述的方法，其特征在于，所述将目标产品在左相机坐标系下的位姿转换为目标产品相对机械臂末端的位姿，满足：
机械臂坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的变换关系为Pc＝Rw×Pw+Qw，Rw为转换矩阵，Qw为平移矩阵，Pw为机械臂坐标系下的坐标，Pc为左相机坐标系下的坐标。
7.根据权利要求6所述的方法，其特征在于，Qw根据目标产品坐标系原点D确定，包括：
则为目标产品坐标系OwXwYwZw相对于左相机坐标系OcXcYcZc的平移矩阵，D在左相机坐标系OcXcYcZc下的坐标为(XcD ′，YcD ′，ZcD ′)。
8.根据权利要求6所述的方法，其特征在于，Rw根据以下方式得到：
B在目标产品坐标系OwXwYwZw下的坐标系为(0YwB 0)，在左相机坐标系OcXcYcZc下的坐标为(XcB ′，YcB ′，ZcB ′)，
由此可求出
C在目标产品坐标系OwXwYwZw下的坐标系为(XwC YwC 0)，在左相机坐标系OcXcYcZc下的坐标为(XcC ′，YcC ′，ZcC ′)，
由此求解出
9.根据权利要求1所述的方法，其特征在于，所述根据目标产品相对机械臂末端的位姿和机械臂末端产品相对机械臂末端的位姿，控制机械臂进行平移和旋转操作，实现两产品对准，包括：
根据已知目标产品、机械臂末端产品相对机械臂末端的姿态，求解机械臂末端产品和目标产品在机械臂末端坐标系下位姿差值，将差值发送给机械臂控制机械臂末端运行到指定位置后，对准系统进行下一次测量和运动，直至差值小于预设阀值，实现远距离机械臂末端产品和目标产品高效精确对准。
10.一种双目视觉和机械臂联动的大范围高精度姿态测量对准系统，其特征在于，包括可移动式升降车、机械臂、双目测试相机、机械臂末端产品和控制器，机械臂设置在可移动式升降车上，且承载双目测试相机和机械臂末端产品，所述控制器用于执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311752416.4A CN117798906A (zh) | 2023-12-19 | 2023-12-19 | 双目视觉和机械臂联动的大范围高精度姿态测量对准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311752416.4A CN117798906A (zh) | 2023-12-19 | 2023-12-19 | 双目视觉和机械臂联动的大范围高精度姿态测量对准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117798906A true CN117798906A (zh) | 2024-04-02 |
Family
ID=90422963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311752416.4A Pending CN117798906A (zh) | 2023-12-19 | 2023-12-19 | 双目视觉和机械臂联动的大范围高精度姿态测量对准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117798906A (zh) |
-
2023
- 2023-12-19 CN CN202311752416.4A patent/CN117798906A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859275B (zh) | 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法 | |
| CN110116407B (zh) | 柔性机器人位姿测量方法及装置 | |
| CN107139178B (zh) | 一种无人机及其基于视觉的抓取方法 | |
| CN111127568B (zh) | 一种基于空间点位信息的相机位姿标定方法 | |
| CN102922521B (zh) | 一种基于立体视觉伺服的机械臂系统及其实时校准方法 | |
| CN109304730B (zh) | 一种基于激光测距仪的机器人运动学参数标定方法 | |
| CN109877840B (zh) | 一种基于相机光轴约束的双机械臂标定方法 | |
| CN111415391B (zh) | 一种采用互拍法的多目相机外部方位参数标定方法 | |
| CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN109794963B (zh) | 一种面向曲面构件的机器人快速定位方法 | |
| CN108098762A (zh) | 一种基于新型视觉引导的机器人定位装置及方法 | |
| WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统 | |
| CN113910219A (zh) | 运动臂系统以及控制方法 | |
| CN109129463B (zh) | 一种基于视觉的移动机械臂末端定位装置及方法 | |
| Hu et al. | Automatic calibration of hand–eye–workspace and camera using hand-mounted line laser | |
| CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
| CN113028990B (zh) | 一种基于加权最小二乘的激光跟踪姿态测量系统及方法 | |
| CN115042175B (zh) | 一种机器人机械臂末端姿态的调整方法 | |
| CN114474056A (zh) | 一种面向抓取操作的单目视觉高精度目标定位方法 | |
| WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN109900251A (zh) | 一种基于视觉技术的机器人定位装置及方法 | |
| CN112109072B (zh) | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 | |
| Zhao et al. | A novel accurate positioning method for object pose estimation in robotic manipulation based on vision and tactile sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |