CN115648224A - 一种基于双深度相机识别定位的机械臂抓取方法 - Google Patents
一种基于双深度相机识别定位的机械臂抓取方法 Download PDFInfo
- Publication number
- CN115648224A CN115648224A CN202211654311.0A CN202211654311A CN115648224A CN 115648224 A CN115648224 A CN 115648224A CN 202211654311 A CN202211654311 A CN 202211654311A CN 115648224 A CN115648224 A CN 115648224A
- Authority
- CN
- China
- Prior art keywords
- camera
- mechanical arm
- target object
- coordinate system
- grabbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于双深度相机识别定位的机械臂抓取方法,属于机械臂抓取领域。通过设置两个深度相机,一个设置在机械臂外为第一相机,第一相机可±180°往返交替扫描,扩大视野范围,使识别范围进一步扩大;一个设置在机械臂末端的夹爪上为第二相机,第二相机跟随机械臂末端的夹爪向目标物运动,可在运动过程中不断更新调整夹爪与目标物的相对位置,做到精准抓取。本方法的第一相机和第二相机协同作业,先由第一相机确定目标物大致位置,第二相机根据第一相机提供的目标位置靠近目标物后进行识别,进一步提高了识别精度,同时提高了机械臂的工作效率,减少了无用操作。
Description
技术领域
本发明涉及机械臂抓取领域,具体涉及一种基于双深度相机识别定位的机械臂抓取方法。
背景技术
当前机械臂识别抓取基本分为两种情况:第一种是相机固定在机械臂夹爪上,即相机与机械臂末端夹爪位置相对固定;第二种是相机固定在机械臂外,即相机与机械臂基坐标系位置相对固定。
相机固定在机械臂夹爪上,可在机械运动过程中实时更新自身与目标物的位置,可做到精准抓取,但是该方式同样存在局限性,由于相机固定在机械夹爪上,其视野依赖机械臂位姿,特别是在机械臂末端未朝向目标物或距目标物较近时,相机视野无法完整呈现目标物体,识别算法无法确定目标物上的抓取点。如果依靠转动机械臂去增大相机视野效率低下,同时机械臂功率比较大,长时间运动会增加功耗、缩短机械臂使用寿命,得不偿失。
相机与机械臂基坐标系相对固定的方式视野范围大,但是与目标物较远,识别误差较大,同时因相机与目标物位置也相对固定无法实时调整目标物的位置,从而无法精准抓取。
发明内容
针对现有的机械臂识别抓取存在的问题,本发明提供了一种基于双深度相机识别定位的机械臂抓取方法,有效提高深度相机识别效率和机械臂抓取精度。
本发明采用以下的技术方案:
一种基于双深度相机识别定位的机械臂抓取方法,在机械臂外设置有一个第一相机,在机械臂末端的夹爪上设置有一个第二相机;
抓取方法包括以下步骤:
步骤1:机械臂启动,并初始化控制参数;
步骤2:第一相机启动目标识别算法,对目标物进行识别,提取目标物的几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ;
步骤3:通过坐标变换矩阵将P B 转化到机械臂基坐标系下,判断目标物是否在机械臂工作范围内,如果目标物在机械臂工作范围内则执行步骤4,如果目标物不在机械臂工作范围内则执行步骤2;
步骤4:根据步骤3得到的P B 转化到机械臂基坐标系下的坐标,控制机械臂末端的夹爪,带动第二相机运动到目标物附近同时启动第二相机的识别算法;
步骤6:控制机械臂对目标物进行抓取。
优选地,步骤2具体包括:
步骤2.1:第一相机识别到目标物后,提取目标物的几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ;第一相机如果未识别到目标物,则第一相机绕相机Y轴±π范围内循环往复旋转,直到识别到目标物;
步骤2.2:第一相机识别到目标物体后相机停止旋转,记录第一深度转角β,更新变换矩阵T base2B ,提取目标物几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ,变换矩阵的更新见式(1)和式(2);
式(1)中代表第一相机的坐标系从标定时的位姿旋转到当前位姿所产生的变换矩阵,式(2)中T base2B 代表当前时刻第一相机的坐标系到机械臂基坐标系的变换矩阵,T base_B 代表手眼标定时获得的第一相机的坐标系到机械臂基坐标系的变换矩阵。
优选地,步骤3具体包括:
通过坐标变换矩阵将P B 转化到机械臂基坐标系下,变换关系为式(3),判断目标物是否在机械臂工作范围内,判断方法为式(4);如果式(4)关系成立,则进入步骤4,否则屏蔽该目标物后跳转到步骤2;
优选地,步骤4中控制机械臂末端的夹爪具体公式为:
进一步变换为:
优选地,步骤5具体包括:
如果第二相机识别到目标物,则结合深度图像提取目标物表面轮廓信息,根据轮廓信息是否连续判断目标物有无重叠现象,保留最前端完整的目标物,剔除遮挡目标;获取目标物的几何中心作为第二抓取点,第二抓取点在第二相机的坐标系下的坐标P A ;获取P A 过在机械臂末端的夹爪坐标系下的坐标;
如果第二相机未识别到目标物,则返回步骤2。
优选地,步骤6具体包括:
机械臂对目标物抓取完成后,第二相机停止识别目标物同时机械臂控制程序判断是否收到停止运行信号,若收到则程序停止,机械臂回到初始位置,若未收到停止信号,则返回步骤2。
本发明具有的有益效果是:
本发明提供的基于双深度相机识别定位的机械臂抓取方法,通过设置两个深度相机,一个设置在机械臂外为第一相机,第一相机可±180°往返交替扫描,扩大视野范围,使识别范围进一步扩大;一个设置在机械臂末端的夹爪上为第二相机,第二相机跟随机械臂末端的夹爪向目标物运动,可在运动过程中不断更新调整夹爪与目标物的相对位置,做到精准抓取。本方法的第一相机和第二相机协同作业,先由第一相机确定目标物大致位置,第二相机根据第一相机提供的目标位置靠近目标物后进行识别,进一步提高了识别精度,同时提高了机械臂的工作效率,减少了无用操作。
在识别算法上,第一相机采用最基本的目标识别算法,占用工控机资源少,识别效率高,首先通过该相机确定目标物存在且保证能够抓取到,第二相机采用“物体识别+边缘检测”方案,识别精度高,本方法中第二相机仅进行抓取作业时开启识别功能,有效减小工控机资源占用,降低能耗。本方法检测范围广,识别速度快,抓取精度高。
附图说明
图1为基于双深度相机识别定位的机械臂抓取方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明:
结合图1,一种基于双深度相机识别定位的机械臂抓取方法,在机械臂外设置有一个第一相机,在机械臂末端的夹爪上设置有一个第二相机。
第一相机可以设置在含有机械臂的机器人的头部,也可以设置在相对于机械臂固定基座不动的平台上。第一相机可±180°往返交替扫描,能够全方位的看到目标物。
还包括一个工控机,第一相机、第二相机、机械臂都与工控机连接。
第一相机和第二相机都为深度相机。在一个实施例中,第一相机和第二相机的型号为RealSense D435。
抓取方法包括以下步骤:
步骤1:机械臂启动,并初始化控制参数。
步骤2:第一相机启动目标识别算法,对目标物进行识别,提取目标物的几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B 。
具体包括:
步骤2.1:第一相机识别到目标物后,提取目标物的几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ;第一相机如果未识别到目标物,则第一相机绕相机Y轴±π范围内循环往复旋转,直到识别到目标物;
步骤2.2:第一相机识别到目标物体后相机停止旋转,记录第一深度转角β,更新变换矩阵T base2B ,提取目标物几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ,变换矩阵的更新见式(1)和式(2);
式(1)中代表第一相机的坐标系从标定时的位姿旋转到当前位姿所产生的变换矩阵,式(2)中T base2B 代表当前时刻第一相机的坐标系到机械臂基坐标系的变换矩阵,T base_B 代表手眼标定时获得的第一相机的坐标系到机械臂基坐标系的变换矩阵。
步骤3:通过坐标变换矩阵将P B 转化到机械臂基坐标系下,判断目标物是否在机械臂工作范围内,如果目标物在机械臂工作范围内则执行步骤4,如果目标物不在机械臂工作范围内则执行步骤2。
具体为:
通过坐标变换矩阵将P B 转化到机械臂基坐标系下,变换关系为式(3),判断目标物是否在机械臂工作范围内,判断方法为式(4);如果式(4)关系成立,则进入步骤4,否则屏蔽该目标物后跳转到步骤2;
步骤4:根据步骤3得到的P B 转化到机械臂基坐标系下的坐标,控制机械臂末端的夹爪,带动第二相机运动到目标物附近同时启动第二相机的识别算法;
控制机械臂末端的夹爪具体公式为:
进一步变换为:
具体为:
如果第二相机识别到目标物,则结合深度图像提取目标物表面轮廓信息,根据轮廓信息是否连续判断目标物有无重叠现象,保留最前端完整的目标物,剔除遮挡目标;获取目标物的几何中心作为第二抓取点,第二抓取点在第二相机的坐标系下的坐标P A ;获取P A 过在机械臂末端的夹爪坐标系下的坐标;
如果第二相机未识别到目标物,则返回步骤2。
步骤6:控制机械臂对目标物进行抓取。
具体为:
机械臂对目标物抓取完成后,第二相机停止识别目标物同时机械臂控制程序判断是否收到停止运行信号,若收到则程序停止,机械臂回到初始位置,若未收到停止信号,则返回步骤2。
本方法的第一相机和第二相机协同作业,先由第一相机确定目标物大致位置,第二相机根据第一相机提供的目标位置靠近目标物后进行识别,进一步提高了识别精度,同时提高了机械臂的工作效率,减少了无用操作。
在识别算法上,第一相机采用最基本的目标识别算法,占用工控机资源少,识别效率高,首先通过该相机确定目标物存在且保证能够抓取到,第二相机采用“物体识别+边缘检测”方案,识别精度高,本方法中第二相机仅进行抓取作业时开启识别功能,有效减小工控机资源占用,降低能耗。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (6)
1.一种基于双深度相机识别定位的机械臂抓取方法,其特征在于,在机械臂外设置有一个第一相机,在机械臂末端的夹爪上设置有一个第二相机;
抓取方法包括以下步骤:
步骤1:机械臂启动,并初始化控制参数;
步骤2:第一相机启动目标识别算法,对目标物进行识别,提取目标物的几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ;
步骤3:通过坐标变换矩阵将P B 转化到机械臂基坐标系下,判断目标物是否在机械臂工作范围内,如果目标物在机械臂工作范围内则执行步骤4,如果目标物不在机械臂工作范围内则执行步骤2;
步骤4:根据步骤3得到的P B 转化到机械臂基坐标系下的坐标,控制机械臂末端的夹爪,带动第二相机运动到目标物附近同时启动第二相机的识别算法;
步骤6:控制机械臂对目标物进行抓取。
2.根据权利要求1所述的一种基于双深度相机识别定位的机械臂抓取方法,其特征在于,步骤2具体包括:
步骤2.1:第一相机识别到目标物后,提取目标物的几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ;第一相机如果未识别到目标物,则第一相机绕相机Y轴±π范围内循环往复旋转,直到识别到目标物;
步骤2.2:第一相机识别到目标物体后相机停止旋转,记录第一深度转角β,更新变换矩阵T base2B ,提取目标物几何中心作为第一抓取点,获取第一抓取点在第一相机的坐标系下的坐标P B ,变换矩阵的更新见式(1)和式(2);
6.根据权利要求3所述的一种基于双深度相机识别定位的机械臂抓取方法,其特征在于,步骤6具体包括:
机械臂对目标物抓取完成后,第二相机停止识别目标物同时机械臂控制程序判断是否收到停止运行信号,若收到则程序停止,机械臂回到初始位置,若未收到停止信号,则返回步骤2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211654311.0A CN115648224A (zh) | 2022-12-22 | 2022-12-22 | 一种基于双深度相机识别定位的机械臂抓取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211654311.0A CN115648224A (zh) | 2022-12-22 | 2022-12-22 | 一种基于双深度相机识别定位的机械臂抓取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115648224A true CN115648224A (zh) | 2023-01-31 |
Family
ID=85022939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211654311.0A Pending CN115648224A (zh) | 2022-12-22 | 2022-12-22 | 一种基于双深度相机识别定位的机械臂抓取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115648224A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
EP3357650A2 (en) * | 2017-02-06 | 2018-08-08 | Seiko Epson Corporation | Control device, robot, and robot system |
CN108942923A (zh) * | 2018-06-21 | 2018-12-07 | 安徽工程大学 | 一种机械臂抓取控制方法 |
CN109483554A (zh) * | 2019-01-22 | 2019-03-19 | 清华大学 | 基于全局和局部视觉语义的机器人动态抓取方法及系统 |
US10583560B1 (en) * | 2019-04-03 | 2020-03-10 | Mujin, Inc. | Robotic system with object identification and handling mechanism and method of operation thereof |
CN110900581A (zh) * | 2019-12-27 | 2020-03-24 | 福州大学 | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 |
CN112171661A (zh) * | 2020-08-25 | 2021-01-05 | 广西大学 | 一种基于视觉信息融合的机械臂抓取目标物体方法 |
CN112541471A (zh) * | 2020-12-21 | 2021-03-23 | 杭州电子科技大学 | 一种基于多特征融合的遮挡目标识别方法 |
CN112894815A (zh) * | 2021-01-25 | 2021-06-04 | 西安工业大学 | 视觉伺服机械臂物品抓取最佳位姿检测方法 |
CN113084808A (zh) * | 2021-04-02 | 2021-07-09 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
CN113435407A (zh) * | 2021-07-20 | 2021-09-24 | 广东电网有限责任公司 | 一种输电系统的小目标识别方法及装置 |
CN113681563A (zh) * | 2021-08-31 | 2021-11-23 | 上海交大智邦科技有限公司 | 基于双相机的装配方法及系统 |
CN114474056A (zh) * | 2022-01-26 | 2022-05-13 | 北京航空航天大学 | 一种面向抓取操作的单目视觉高精度目标定位方法 |
CN114581658A (zh) * | 2021-11-11 | 2022-06-03 | 广东省科学院智能制造研究所 | 一种基于计算机视觉的目标检测方法及装置 |
-
2022
- 2022-12-22 CN CN202211654311.0A patent/CN115648224A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3357650A2 (en) * | 2017-02-06 | 2018-08-08 | Seiko Epson Corporation | Control device, robot, and robot system |
CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
CN108942923A (zh) * | 2018-06-21 | 2018-12-07 | 安徽工程大学 | 一种机械臂抓取控制方法 |
CN109483554A (zh) * | 2019-01-22 | 2019-03-19 | 清华大学 | 基于全局和局部视觉语义的机器人动态抓取方法及系统 |
US10583560B1 (en) * | 2019-04-03 | 2020-03-10 | Mujin, Inc. | Robotic system with object identification and handling mechanism and method of operation thereof |
CN110900581A (zh) * | 2019-12-27 | 2020-03-24 | 福州大学 | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 |
CN112171661A (zh) * | 2020-08-25 | 2021-01-05 | 广西大学 | 一种基于视觉信息融合的机械臂抓取目标物体方法 |
CN112541471A (zh) * | 2020-12-21 | 2021-03-23 | 杭州电子科技大学 | 一种基于多特征融合的遮挡目标识别方法 |
CN112894815A (zh) * | 2021-01-25 | 2021-06-04 | 西安工业大学 | 视觉伺服机械臂物品抓取最佳位姿检测方法 |
CN113084808A (zh) * | 2021-04-02 | 2021-07-09 | 上海智能制造功能平台有限公司 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
CN113435407A (zh) * | 2021-07-20 | 2021-09-24 | 广东电网有限责任公司 | 一种输电系统的小目标识别方法及装置 |
CN113681563A (zh) * | 2021-08-31 | 2021-11-23 | 上海交大智邦科技有限公司 | 基于双相机的装配方法及系统 |
CN114581658A (zh) * | 2021-11-11 | 2022-06-03 | 广东省科学院智能制造研究所 | 一种基于计算机视觉的目标检测方法及装置 |
CN114474056A (zh) * | 2022-01-26 | 2022-05-13 | 北京航空航天大学 | 一种面向抓取操作的单目视觉高精度目标定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
CN107914272B (zh) | 一种七自由度机械臂组件抓取目标物体的方法 | |
CN110660104A (zh) | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 | |
CN111347411B (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
WO2022078467A1 (zh) | 机器人自动回充方法、装置、机器人和存储介质 | |
US9884425B2 (en) | Robot, robot control device, and robotic system | |
CN111515945A (zh) | 机械臂视觉定位分拣抓取的控制方法、系统及装置 | |
CN110900611A (zh) | 一种新型机械臂目标定位及路径规划方法 | |
CN107433573A (zh) | 智能双目自动抓取机械臂 | |
CN114378822B (zh) | 一种基于视觉的机器人机械臂末端位姿的调整方法 | |
CN112906797A (zh) | 一种基于计算机视觉和深度学习的平面抓取检测方法 | |
CN109623815B (zh) | 一种用于无人打捞船的波浪补偿双机器人系统及方法 | |
CN111993422B (zh) | 基于无标定视觉的机器人轴孔对准控制方法 | |
JP5609760B2 (ja) | ロボット、ロボットの動作方法、及びプログラム | |
JPH0798214A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
CN114770461B (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
CN113978297B (zh) | 基于3d视觉与力柔顺控制的电动汽车自动充电系统 | |
CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
CN115648224A (zh) | 一种基于双深度相机识别定位的机械臂抓取方法 | |
Li et al. | A mobile robotic arm grasping system with autonomous navigation and object detection | |
CN116749233A (zh) | 基于视觉伺服的机械臂抓取系统及方法 | |
CN112720449A (zh) | 一种机器人定位装置及其控制系统 | |
CN114407011B (zh) | 异形工件抓取规划方法、规划装置及异形工件抓取方法 | |
CN115861780A (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
CN116012442A (zh) | 一种机械臂末端位姿自动回正的视觉伺服方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230131 |
|
RJ01 | Rejection of invention patent application after publication |