CN114339058B - 一种基于视觉标志的机械臂飞拍定位方法 - Google Patents
一种基于视觉标志的机械臂飞拍定位方法 Download PDFInfo
- Publication number
- CN114339058B CN114339058B CN202210256215.4A CN202210256215A CN114339058B CN 114339058 B CN114339058 B CN 114339058B CN 202210256215 A CN202210256215 A CN 202210256215A CN 114339058 B CN114339058 B CN 114339058B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- camera
- pose
- relative
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000463 material Substances 0.000 claims abstract description 6
- 239000003550 marker Substances 0.000 claims description 20
- 101100163433 Drosophila melanogaster armi gene Proteins 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于视觉标志的机械臂飞拍定位方法，包括：将视觉标志固定在机械臂末端；通过相机多次拍照计算视觉标志相对于机械臂末端的位姿；机械臂从取料区抓取物体，并朝相机方向运动；机械臂运动到相机上方邻近区域，触发相机拍照；相机拍照后，计算出视觉标志相对于相机的位姿，和物体相对于相机的位姿；根据
、
和
，计算出物体相对于机械臂末端的位姿
；利用物体相对于机械臂末端的位姿
执行装配任务；判断是否需要重复执行下一次任务，如果是则返回步骤S3；否则结束。
Description
技术领域
本发明涉及机械臂技术领域，特别涉及一种基于视觉标志的机械臂飞拍定位方法。
背景技术
飞拍技术，是物体在运动过程中进行拍照，并得到物体拍照瞬间的位置姿态等信息。相比于定拍，即物体运动到拍照位置停止再请求拍照，飞拍可有效减少物体停顿动作，提高生产效率。
在机械臂飞拍定位应用中，首先机械臂末端抓取物体，此时物体相对于机械臂末端的精确位姿（简称物体位姿）未知。然后机械臂携带物体经过拍照点并触发拍照，过程中不停止运动。随后，机械臂收到相机返回的物体位姿。最后，机械臂根据物体位姿执行后续的装配等操作。考虑到机械臂触发拍照信号的延时，当前常见的解决方法如下：
首先确定机械臂的准确拍照位置，在机械臂经过拍照位前的特定位置，提前触发拍照。此方法假定机械臂从提前位置到拍照位置的运动时间恰好等于机械臂触发拍照到相机完成拍照的时间。由于机械臂这段距离的运行时间跟机械臂速度、路径等诸多因素有关。因此此方法需反复实验、不够灵活，且存在误差。
首先确定机械臂的准确拍照位置，在机械臂经过拍照位前的特定时间，提前触发拍照。此方法假定机械臂触发的提前时间等于从机械臂触发拍照到相机完成拍照的时间。由于从机械臂触发拍照到相机完成拍照的时间跟信号传输、（不同型号）相机拍照原理等有关，且可能并不为恒定时间。因此，此方法依然不够灵活，且存在误差。
发明内容
本发明的目的旨在至少解决技术缺陷之一。
为此，本发明的目的在于提出一种基于视觉标志的机械臂飞拍定位方法。
为了实现上述目的，本发明的实施例提供一种基于视觉标志的机械臂飞拍定位方法，包括如下步骤：
步骤S1，将视觉标志固定在机械臂末端，其中，视觉标志为相机拍照后可计算出其相对于相机3D位姿的平面图案；
步骤S2，通过相机多次拍照计算视觉标志相对于机械臂末端的位姿
；
步骤S3，机械臂从取料区抓取物体，并朝相机方向运动；
步骤S4，机械臂运动到相机上方邻近区域，触发相机拍照；
步骤S5，相机拍照后，计算出视觉标志相对于相机的位姿
，和物体相对于相机的位姿
；
步骤S6，根据
、
和
，计算出物体相对于机械臂末端的位姿
；
步骤S7，利用物体相对于机械臂末端的位姿
执行装配任务；
步骤S8，判断是否需要重复执行下一次任务，如果是则返回步骤S3；否则结束。
进一步，视觉标志采用二维码图案。
进一步，在步骤S2中，将相机安装在工作台上，操作机械臂运动到多个不同位姿，且保证视觉标志出现在相机视野内；
对于位姿i，计算出视觉标志相对于相机的位姿
，同时获取机械臂末端法兰相对于基坐标系的位姿
；
由于视觉标志相对于机械臂末端法兰的位姿
是固定不变的，相机相对于机械臂基坐标系的位姿
也是固定不变的；对于位姿i和位姿i+1，建立方程
；利用上述多组数据，通过求解计算出视觉标志相对于机械臂末端法兰的位姿
。
进一步，利用机械臂正运动学计算机械臂末端法兰相对于基坐标系的位姿
。
进一步，在步骤S6中，
计算公式如下：
进一步，
和 
均采用图像处理算法计算得到。
根据本发明实施例的基于视觉标志的机械臂飞拍定位方法，在准备阶段标定视觉标志相对于机械臂末端的位姿，运行时分别计算视觉标志和物体相对于相机的位姿，从而确定物体相对于机械臂末端的位姿。本发明具有以下有益效果：
（1）适用性强。此方案的最终结果跟不同型号相机拍照时间、机械臂运行速度等因素几乎没有关联性，甚至运行一次拍照不成功补拍第二次。
（2）精度高。此方案从图像层面消除设定拍照位置和实际拍照位置的误差，大大提高精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于视觉标志的机械臂飞拍定位方法的流程图；
图2为根据本发明实施例的基于视觉标志的机械臂飞拍定位方法的系统设置示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种基于视觉标志的机械臂飞拍定位方法，该方法的实施涉及机械臂、视觉标志、相机和工控机，如图2所示。机械臂是一台作业的普通六轴机械臂，本方案也可适用于其他类型机械臂。相机是一个普通工业相机，固定在工作台上。视觉标志是相机拍照后可计算出其相对于相机3D位姿的平面图案，包括但不限于二维码图案。视觉标志固定在机械臂末端，其位置不随机械臂每次抓取物体而变化，且保证能和物体一起被相机拍到。工控机用于运行相关算法，通过网线与相机连接。
如图1所示，本发明实施例的基于视觉标志的机械臂飞拍定位方法，包括如下步骤：
步骤S1，将视觉标志固定在机械臂末端，其中，视觉标志为相机拍照后可计算出其相对于相机3D位姿的平面图案。
在本发明的实施例中，视觉标志可以采用二维码图案。
步骤S2，通过相机多次拍照计算视觉标志相对于机械臂末端的位姿
。
具体的，将相机安装在工作台上，操作机械臂运动到多个不同位姿，保证视觉标志出现在相机视野内。优选的，可以运动10个左右的位姿。
对于位姿i，利用图像处理算法（具体算法因视觉标志而异）计算出视觉标志相对于相机的位姿
，同时可通过机械臂正运动学直接获取机械臂末端法兰相对于基坐标系的位姿
。已知视觉标志相对于机械臂末端法兰的位姿
是固定不变的，相机相对于机械臂基坐标系的位姿也是
固定不变的。对于位姿i和位姿i+1，可建立方程
。利用上述多组数据，可通过求解计算出视觉标志相对于机械臂末端法兰的位姿
。
在本发明的实施例中，机械臂法兰相对于机械臂基坐标系的位姿
可以采用机械臂正运动学获得。此为机械臂的基本功能。
步骤S3，机械臂从取料区抓取物体，并朝相机方向运动。
步骤S4，机械臂运动到相机上方邻近区域，触发相机拍照。需要说明的是，整个过程中机械臂不停止运动。
步骤S5，相机拍照后，计算出视觉标志相对于相机的位姿
，和物体相对于相机的位姿
。
在本发明的实施例中，
和 
均采用图像处理算法计算得到，（具体算法因物体及相机类型可能会有所不同。
下面对
和 
的位姿计算过程进行说明。
两者的原理是类似的，都是通过图案上的多个特征点和相机参数来确定图案相对于相机的位姿。计算方法可能会由于相机不同（2D或3D）、物体不同有所区别。大致步骤如下：
(1). 假定图像上一点A的像素位置为
，点A相对于相机的物理坐标为
，相机内参为
。则有公式：
其中像素位置Puv 在每张图片里通过图像定位算法获取；相机内参K通过厂家资料或标定获取；计算上述公式得到P，此时Z坐标值尚不确定。
（2）对于视觉标志等物体尺寸一致的情况。可利用多个点和物体尺寸求解Z值。实际中会同时计算多个（≥3）P点，假设为P1、P2、P3。
（3）3个点之间的物理距离已知（先验值，包含在视觉标志物尺寸里），连立方程即可解出3个点的Z值。对于3D相机，可直接读取每个点Z值。或者采用工程上可预先测量Z方向的距离，每次机械臂都从同样高度经过相机拍照区域。
3个点可确定一个姿态，同时利用一个点的坐标信息即可确定视觉标志或物体相对于相机的位姿。
步骤S6，根据
、
和
，计算出物体相对于机械臂末端的位姿
。
计算公式为
。
步骤S7，利用物体相对于机械臂末端的位姿
执行装配等任务。
步骤S8，判断是否需要重复执行下一次任务，如果是则返回步骤S3；否则结束。
根据本发明实施例的基于视觉标志的机械臂飞拍定位方法，在准备阶段标定视觉标志相对于机械臂末端的位姿，运行时分别计算视觉标志和物体相对于相机的位姿，从而确定物体相对于机械臂末端的位姿。本发明具有以下有益效果：
（1）适用性强。此方案的最终结果跟不同型号相机拍照时间、机械臂运行速度等因素几乎没有关联性，甚至运行一次拍照不成功补拍第二次。
（2）精度高。此方案从图像层面消除设定拍照位置和实际拍照位置的误差，大大提高精度。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
Claims (6)
1.一种基于视觉标志的机械臂飞拍定位方法，其特征在于，包括如下步骤：
步骤S1，将视觉标志固定在机械臂末端，其中，视觉标志为相机拍照后可计算出其相对于相机3D位姿的平面图案；
步骤S2，通过相机多次拍照计算视觉标志相对于机械臂末端的位姿
；
步骤S3，机械臂从取料区抓取物体，并朝相机方向运动；
步骤S4，机械臂运动到相机上方邻近区域，触发相机拍照；
步骤S5，相机拍照后，计算出视觉标志相对于相机的位姿
，和物体相对于相机的位姿
；
步骤S6，根据
、
和
，计算出物体相对于机械臂末端的位姿
；
步骤S7，利用物体相对于机械臂末端的位姿
执行装配任务；
步骤S8，判断是否需要重复执行下一次任务，如果是则返回步骤S3；否则结束。
2.如权利要求1所述的基于视觉标志的机械臂飞拍定位方法，其特征在于，视觉标志采用二维码图案。
3.如权利要求1所述的基于视觉标志的机械臂飞拍定位方法，其特征在于，在步骤S2中，将相机安装在工作台上，操作机械臂运动到多个不同位姿，且保证视觉标志出现在相机视野内；
对于位姿i，计算出视觉标志相对于相机的位姿
，同时获取机械臂末端法兰相对于基坐标系的位姿
；
由于视觉标志相对于机械臂末端法兰的位姿
是固定不变的，相机相对于机械臂基坐标系的位姿
也是固定不变的；对于位姿i和位姿i+1，建立方程
；利用上述多组数据，通过求解计算出视觉标志相对于机械臂末端法兰的位姿
。
4.如权利要求3所述的基于视觉标志的机械臂飞拍定位方法，其特征在于，利用机械臂正运动学计算机械臂末端法兰相对于基坐标系的位姿
。
5.如权利要求1所述的基于视觉标志的机械臂飞拍定位方法，其特征在于，在步骤S6中，
计算公式如下：
6.如权利要求3所述的基于视觉标志的机械臂飞拍定位方法，其特征在于，
和 
均采用图像处理算法计算得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210256215.4A CN114339058B (zh) | 2022-03-16 | 2022-03-16 | 一种基于视觉标志的机械臂飞拍定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210256215.4A CN114339058B (zh) | 2022-03-16 | 2022-03-16 | 一种基于视觉标志的机械臂飞拍定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114339058A CN114339058A (zh) | 2022-04-12 |
| CN114339058B true CN114339058B (zh) | 2022-05-27 |
Family
ID=81033811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210256215.4A Active CN114339058B (zh) | 2022-03-16 | 2022-03-16 | 一种基于视觉标志的机械臂飞拍定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339058B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109397249A (zh) * | 2019-01-07 | 2019-03-01 | 重庆大学 | 基于视觉识别的二维码定位抓取机器人系统算法 |
| CN112792814A (zh) * | 2021-01-21 | 2021-05-14 | 珞石（北京）科技有限公司 | 基于视觉标志的机械臂零点标定方法 |
| CN112894823A (zh) * | 2021-02-08 | 2021-06-04 | 珞石（山东）智能科技有限公司 | 一种基于视觉伺服的机器人高精度装配方法 |
| CN113084808A (zh) * | 2021-04-02 | 2021-07-09 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
| CN113843798A (zh) * | 2021-10-11 | 2021-12-28 | 深圳先进技术研究院 | 一种移动机器人抓取定位误差的纠正方法、系统及机器人 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3030734C (en) * | 2017-06-16 | 2023-01-10 | Robotiq Inc. | Robotic arm camera system and method |
| EP3740352B1 (en) * | 2018-01-15 | 2023-03-15 | Technische Universität München | Vision-based sensor system and control method for robot arms |
-
2022
- 2022-03-16 CN CN202210256215.4A patent/CN114339058B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109397249A (zh) * | 2019-01-07 | 2019-03-01 | 重庆大学 | 基于视觉识别的二维码定位抓取机器人系统算法 |
| CN112792814A (zh) * | 2021-01-21 | 2021-05-14 | 珞石（北京）科技有限公司 | 基于视觉标志的机械臂零点标定方法 |
| CN112894823A (zh) * | 2021-02-08 | 2021-06-04 | 珞石（山东）智能科技有限公司 | 一种基于视觉伺服的机器人高精度装配方法 |
| CN113084808A (zh) * | 2021-04-02 | 2021-07-09 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
| CN113843798A (zh) * | 2021-10-11 | 2021-12-28 | 深圳先进技术研究院 | 一种移动机器人抓取定位误差的纠正方法、系统及机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114339058A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
| JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
| CN110146099B (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
| WO2021043213A1 (zh) | 标定方法、装置、航拍设备和存储介质 | |
| JP5567908B2 (ja) | ３次元計測装置、その計測方法及びプログラム | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN106845354B (zh) | 零件视图库构建方法、零件定位抓取方法及装置 | |
| JP2011179908A (ja) | ３次元計測装置、その処理方法及びプログラム | |
| WO2011105522A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| TWI795885B (zh) | 視覺定位方法、設備和電腦可讀儲存介質 | |
| Zhi et al. | Simultaneous hand-eye calibration and reconstruction | |
| CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
| CN109421050A (zh) | 一种机器人的控制方法及装置 | |
| JP2017117386A (ja) | 自己運動推定システム、自己運動推定システムの制御方法及びプログラム | |
| JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| CN112621743A (zh) | 机器人及其相机固定于末端的手眼标定方法及存储介质 | |
| KR20200013133A (ko) | 탁구 로봇 제어 방법 및 이를 위한 시스템 | |
| CN114667541A (zh) | 使用人体关节校准无人驾驶飞行器上的摄影机 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP7427370B2 (ja) | 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体 | |
| CN114339058B (zh) | 一种基于视觉标志的机械臂飞拍定位方法 | |
| CN110619664B (zh) | 基于激光图案辅助的摄像机距离姿态计算方法及服务器 | |
| CN117173254A (zh) | 一种相机标定方法、系统、装置和电子设备 | |
| JP2015135333A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| CN115457142B (zh) | 一种mr混合摄影相机的标定方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 272000, No. 888 Huarun Road, Zhongxin Electromechanical Industrial Park, Zhongdian Town, Zoucheng City, Jining City, Shandong Province Patentee after: Luoshi (Shandong) Robot Group Co.,Ltd. Country or region after: China Address before: 100097 1-01, floor 7, building a, Beijing Haiqing Shuguang real estate development center (Office) and postal branch project, East wangfuyuan District, Haidian District, Beijing Patentee before: ROKAE, Inc. Country or region before: China |