CN107053173A - 机器人抓取系统及抓取工件的方法 - Google Patents

机器人抓取系统及抓取工件的方法 Download PDF

Info

Publication number
CN107053173A
CN107053173A CN201611242133.5A CN201611242133A CN107053173A CN 107053173 A CN107053173 A CN 107053173A CN 201611242133 A CN201611242133 A CN 201611242133A CN 107053173 A CN107053173 A CN 107053173A
Authority
CN
China
Prior art keywords
workpiece
crawl
image
robot
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611242133.5A
Other languages
English (en)
Inventor
段斌
江守生
朱威风
陈健
李超
曹雏清
高云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201611242133.5A priority Critical patent/CN107053173A/zh
Publication of CN107053173A publication Critical patent/CN107053173A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人抓取系统，包括视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器。本发明的机器人抓取系统，通过采用视觉传感器进行数据采集，降低环境光的成像质量的影响，而且提高了工件的定位精度，抓取工件时的实时性更高。本发明还提供了一种抓取工件的方法。

Description

机器人抓取系统及抓取工件的方法
技术领域
本发明属于机器人技术领域，具体地说，本发明涉及一种机器人抓取系统及抓取工件的方法。
背景技术
机器人视觉一般是指与机器人配合操作的工业视觉系统，把工业视觉系统引入机器人后，可以大大的扩大机器人的使用性能，帮助机器人在完成指定任务的过程中，具有更大的适应性。近年来对机器人视觉的研究成为国内外机器人领域研究的热点之一。
现有用于工件三维定位抓取的视觉系统主要由双目相机组成，相机采集二维图像，然后对提取每个工件的SIFT特征(全称为Scale invariant feature transform，尺度不变特征变换)，采用模板匹配的技术进行工件的识别，该方法算法复杂，计算量大，实时性不能满足工业现场的需求。同时环境光的变化严重影响相机采集图像的质量，这对图像处理算法的鲁棒性提出了更高的要求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种机器人抓取系统及抓取工件的方法，目的是在抓取工件时降低环境光对成像质量的影响。
为了实现上述目的，本发明采取的技术方案为：机器人抓取系统，包括视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器。
所述抓取执行装置包括工业机器人、与工业机器人连接的执行器支架和设置于执行器支架上且用于抓取工件的夹具。
所述工业机器人为六自由度机器人，所述执行器支架与工业机器人的末端法兰连接。
所述视觉传感器设置于所述执行器支架上。
所述视觉传感器为线结构光传感器，所述夹具位于视觉传感器的一侧以避开视觉传感器的光路传播路线。
所述视觉传感器和所述抓取执行装置与控制装置连接，视觉传感器实现工件的点云数据采集并将采集的点云数据输出至控制装置，再由控制装置控制抓取执行装置完成对工件的抓取。
通过所述视觉传感器对工件进行扫描和采集图像，对采集的图像进行图像处理和点云处理后，完成工件的准确定位，然后由所述控制装置将工件的三维坐标发送至抓取执行装置，抓取执行装置完成对工件的抓取。
本发明提供了一种抓取工件的方法，采用上述机器人抓取系统，且包括步骤：
S1、由视觉检测装置进行图像采集；
S2、对采集的图像进行图像处理和点云处理，获取工件的三维坐标，完成工件的定位；
S3、由抓取执行装置完成对工件的抓取。
所述步骤S2中，对采集的图像进行图像处理和点云处理时，控制装置先将图像转换为深度图，然后进行灰度拉伸以增强对比度；然后对灰度拉伸后的图像进行二值化，提取工件需要检测的特征区域，初步定位工件，得到工件在图像坐标系中的位置；然后将检测到的特征区域映射到三维空间，提取出点云感兴趣区域(ROI)，然后对点云进行处理，得到工件在三维空间下的位姿；最后进行坐标转换，将工件的坐标转换到工业机器人的坐标系下。
所述步骤S3中，通过TCP/IP协议，控制装置将工件的三维坐标发送至抓取执行装置，工业机器人规划轨迹，完成对工件的抓取。
本发明的机器人抓取系统，通过采用视觉传感器进行数据采集，降低环境光的成像质量的影响，而且提高了工件的定位精度，抓取工件时的实时性更高。
附图说明
本说明书包括以下附图，所示内容分别是：
图1是本发明机器人抓取系统的结构示意图；
图2是抓取执行装置的局部结构示意图；
图3是本发明抓取工件的方法的流程图；
图4是对采集的图像进行图像处理和点云处理的流程图；
图中标记为：1、工业机器人；2、执行器支架；3、工件；4、工作台；5、视觉传感器；6、夹具。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
如图1和图2所示，本发明提供了一种机器人抓取系统，包括控制装置、视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器5。
具体地说，如图1和图2所示，抓取执行装置包括工业机器人1、与工业机器人1连接的执行器支架2和设置于执行器支架2上且用于抓取工件的夹具6。工业机器人1主要对视觉传感器5扫描轨迹和工件抓取轨迹进行规划，视觉检测装置采用视觉传感器5完成对工件的扫描和数据采集。工业机器人1优选为六自由度机器人，其结构如同本领域技术人员所公知的那样，在此不再赘述。用于抓取放置于工作台上的工件的夹具6有多种形式，可以为气动夹具或电动夹具，优选为气动夹具。执行器支架2与工业机器人1的末端法兰固定连接，夹具6和视觉传感器5固定安装于执行器支架2上。
如图1和图2所示，执行器支架2为矩形框架式结构，具有一定的长度，工业机器人1的末端法兰在执行器支架2长度方向上的中间位置处与执行器支架2固定连接。视觉传感器5为线结构光传感器，夹具6在执行器支架2上为偏心设置，即夹具6位于末端法兰回转中心线的一侧。如图2所示，夹具6的位置位于执行器支架2的一端，视觉传感器5设置于执行器支架2的内腔中且为从夹具6处开始延伸至执行器支架2的另一端，使得夹具6处于视觉传感器5的端部一侧，以避开线结构光传感器的光路传播路线。
控制装置主要是工控机和机器人控制器，工控机与视觉传感器5和机器人1进行通信，视觉传感器5实现工件的点云数据采集并将采集的点云数据输出至控制装置，再由控制装置控制抓取执行装置完成对工件的抓取。在抓取放置于工作台上的工件时，首先通过视觉传感器5对工件进行扫描和采集图像，控制装置对采集的图像进行图像处理和点云处理后，完成工件的准确定位，然后由控制装置将工件的三维坐标发送至抓取执行装置，抓取执行装置完成对工件的抓取。
本发明提供了一种抓取工件的方法，采用上述结构的机器人抓取系统，且包括如下的步骤：
S1、由视觉检测装置进行图像采集；
S2、对采集的图像进行图像处理和点云处理，获取工件的三维坐标，完成工件的定位；
S3、由抓取执行装置完成对工件的抓取。
如图3所示，在上述步骤S1中，在视觉检测装置进行图像采集前，还需进行标定工作，标定工作主要是建立机器人坐标系、工件坐标、视觉传感器坐标和图像坐标系，并完成图像坐标系到机器人坐标系的标定。标定工作完成后，通过图像采集程序和千兆网传输协议，实现视觉传感器对图像的采集。
在上述步骤S2中，对采集的图像进行图像处理和点云处理时，具体过程为：如图3和图4所示，控制装置先将采集的图像转换为深度图(depth map)，然后进行灰度拉伸以增强对比度；然后对灰度拉伸后的图像进行二值化，提取工件需要检测的特征区域，初步定位工件，得到工件在图像坐标系中的位置；然后将检测到的特征区域映射到三维空间，提取出点云感兴趣区域(即ROI)，然后对点云进行处理，得到工件在三维空间下的位姿；最后进行坐标转换，将工件的坐标转换到工业机器人的坐标系下。
在上述步骤S3中，通过TCP/IP协议，控制装置将工件的三维坐标发送至工业机器人的控制器，工业机器人规划轨迹，带动夹具进行运动，最后由夹具完成对工件的抓取。
本发明机器人抓取系统及抓取工件的方法，具有如下的优点：
1、提高了工件的定位精度，算法的重复定位精度达2mm(不包括机器人的精度)；
2、采用线结构光传感器作为图像采集系统，降低了环境光对成像质量的影响，同时传感器直接输出物体的三维点云信息，相比于现有技术节省了从二维图像提取三维坐标的计算时间；
3、采用深度图(depth map)进行部分特征提取，已实现工件的初定位，与直接点云数据匹配算法相比，极大的减少了运算时间；
4、实时性更高。
以上结合附图对本发明进行了示例性描述。显然，本发明具体实现并不受上述方式的限制。只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.机器人抓取系统，其特征在于，包括视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器。
2.根据权利要求1所述的机器人抓取系统，其特征在于，所述抓取执行装置包括工业机器人、与工业机器人连接的执行器支架和设置于执行器支架上且用于抓取工件的夹具。
3.根据权利要求2所述的机器人抓取系统，其特征在于，所述工业机器人为六自由度机器人，所述执行器支架与工业机器人的末端法兰连接。
4.根据权利要求2所述的机器人抓取系统，其特征在于，所述视觉传感器设置于所述执行器支架上。
5.根据权利要求2至4任一所述的机器人抓取系统，其特征在于，所述视觉传感器为线结构光传感器，所述夹具位于视觉传感器的一侧以避开视觉传感器的光路传播路线。
6.根据权利要求1至5任一所述的机器人抓取系统，其特征在于，所述视觉传感器和所述抓取执行装置与控制装置连接，视觉传感器实现工件的点云数据采集并将采集的点云数据输出至控制装置，再由控制装置控制抓取执行装置完成对工件的抓取。
7.根据权利要求1至5任一所述的机器人抓取系统，其特征在于，通过所述视觉传感器对工件进行扫描和采集图像，对采集的图像进行图像处理和点云处理后，完成工件的准确定位，然后由所述控制装置将工件的三维坐标发送至抓取执行装置，抓取执行装置完成对工件的抓取。
8.抓取工件的方法，其特征在于，采用权利要求1至7任一所述的机器人抓取系统，且包括步骤：
S1、由视觉检测装置进行图像采集；
S2、对采集的图像进行图像处理和点云处理，获取工件的三维坐标，完成工件的定位；
S3、由抓取执行装置完成对工件的抓取。
9.根据权利要求8所述的抓取工件的方法，其特征在于，所述步骤S2中，对采集的图像进行图像处理和点云处理时，控制装置先将图像转换为深度图，然后进行灰度拉伸以增强对比度；然后对灰度拉伸后的图像进行二值化，提取工件需要检测的特征区域，初步定位工件，得到工件在图像坐标系中的位置；然后将检测到的特征区域映射到三维空间，提取出点云感兴趣区域(ROI)，然后对点云进行处理，得到工件在三维空间下的位姿；最后进行坐标转换，将工件的坐标转换到工业机器人的坐标系下。
10.根据权利要求8或9所述的抓取工件的方法，其特征在于，所述步骤S3中，通过TCP/IP协议，控制装置将工件的三维坐标发送至抓取执行装置，工业机器人规划轨迹，完成对工件的抓取。
CN201611242133.5A 2016-12-29 2016-12-29 机器人抓取系统及抓取工件的方法 Pending CN107053173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611242133.5A CN107053173A (zh) 2016-12-29 2016-12-29 机器人抓取系统及抓取工件的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611242133.5A CN107053173A (zh) 2016-12-29 2016-12-29 机器人抓取系统及抓取工件的方法

Publications (1)

Publication Number Publication Date
CN107053173A true CN107053173A (zh) 2017-08-18

Family

ID=59624429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611242133.5A Pending CN107053173A (zh) 2016-12-29 2016-12-29 机器人抓取系统及抓取工件的方法

Country Status (1)

Country Link
CN (1) CN107053173A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107363837A (zh) * 2017-09-08 2017-11-21 桂林加宏汽车修理有限公司 一种机械手控制系统及控制机械手捕获物体的方法
CN108144865A (zh) * 2017-12-31 2018-06-12 芜湖哈特机器人产业技术研究院有限公司 汽车油管粗检系统及其检测方法
CN108247635A (zh) * 2018-01-15 2018-07-06 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108297135A (zh) * 2018-03-23 2018-07-20 埃华路（芜湖）机器人工程有限公司 一种用于多轴式工业机器人视觉采集固定机构
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN109060451A (zh) * 2018-08-29 2018-12-21 中国科学院合肥物质科学研究院 一种种子自动取样装置
CN109087343A (zh) * 2018-09-07 2018-12-25 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN109410272A (zh) * 2018-08-13 2019-03-01 国网陕西省电力公司电力科学研究 一种变压器螺母识别与定位装置及方法
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109604468A (zh) * 2018-12-28 2019-04-12 芜湖哈特机器人产业技术研究院有限公司 一种基于机器视觉的工件冲压系统及其控制方法
CN110355754A (zh) * 2018-12-15 2019-10-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN110962121A (zh) * 2018-09-30 2020-04-07 上海微电子装备（集团）股份有限公司 装载3d探测单元的运动装置及其物料抓取方法
CN111013857A (zh) * 2019-12-11 2020-04-17 北京东方昊为工业装备有限公司 一种喷涂机器人控制系统及控制方法
CN111402411A (zh) * 2020-04-10 2020-07-10 贵刚 一种基于线结构光的散乱物识别抓取方法
CN112894800A (zh) * 2020-12-24 2021-06-04 苏州迈维视电子技术有限公司 一种工件抓取下料引导用方法
CN114113163A (zh) * 2021-12-01 2022-03-01 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056313A1 (en) * 2000-05-08 2001-12-27 Osborne William Joseph Object locating and retrieving system utilizing labels
CN101205662A (zh) * 2007-11-26 2008-06-25 天津工业大学 三维复合材料预制件机器人缝合系统
CN104626206A (zh) * 2014-12-17 2015-05-20 西南科技大学 一种非结构环境下机器人作业的位姿信息测量方法
CN104803334A (zh) * 2015-04-21 2015-07-29 西安东仪海博机电科技有限责任公司 一种自动开合盖装置
CN105619413A (zh) * 2016-04-01 2016-06-01 芜湖哈特机器人产业技术研究院有限公司 一种内环工件的自动抓取装置及其控制方法
CN105835060A (zh) * 2016-05-23 2016-08-10 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056313A1 (en) * 2000-05-08 2001-12-27 Osborne William Joseph Object locating and retrieving system utilizing labels
CN101205662A (zh) * 2007-11-26 2008-06-25 天津工业大学 三维复合材料预制件机器人缝合系统
CN104626206A (zh) * 2014-12-17 2015-05-20 西南科技大学 一种非结构环境下机器人作业的位姿信息测量方法
CN104803334A (zh) * 2015-04-21 2015-07-29 西安东仪海博机电科技有限责任公司 一种自动开合盖装置
CN105619413A (zh) * 2016-04-01 2016-06-01 芜湖哈特机器人产业技术研究院有限公司 一种内环工件的自动抓取装置及其控制方法
CN105835060A (zh) * 2016-05-23 2016-08-10 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107363837A (zh) * 2017-09-08 2017-11-21 桂林加宏汽车修理有限公司 一种机械手控制系统及控制机械手捕获物体的方法
CN108144865A (zh) * 2017-12-31 2018-06-12 芜湖哈特机器人产业技术研究院有限公司 汽车油管粗检系统及其检测方法
CN108247635B (zh) * 2018-01-15 2021-03-26 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108247635A (zh) * 2018-01-15 2018-07-06 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108297135A (zh) * 2018-03-23 2018-07-20 埃华路（芜湖）机器人工程有限公司 一种用于多轴式工业机器人视觉采集固定机构
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN109410272B (zh) * 2018-08-13 2021-05-28 国网陕西省电力公司电力科学研究院 一种变压器螺母识别与定位装置及方法
CN109410272A (zh) * 2018-08-13 2019-03-01 国网陕西省电力公司电力科学研究 一种变压器螺母识别与定位装置及方法
CN109060451A (zh) * 2018-08-29 2018-12-21 中国科学院合肥物质科学研究院 一种种子自动取样装置
CN109087343A (zh) * 2018-09-07 2018-12-25 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN110962121A (zh) * 2018-09-30 2020-04-07 上海微电子装备（集团）股份有限公司 装载3d探测单元的运动装置及其物料抓取方法
CN110962121B (zh) * 2018-09-30 2021-05-07 上海微电子装备（集团）股份有限公司 装载3d探测单元的运动装置及其物料抓取方法
CN109461184B (zh) * 2018-10-31 2020-11-10 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN110355754A (zh) * 2018-12-15 2019-10-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN110355754B (zh) * 2018-12-15 2023-09-22 深圳铭杰医疗科技有限公司 机器人手眼系统、控制方法、设备及存储介质
CN109604468A (zh) * 2018-12-28 2019-04-12 芜湖哈特机器人产业技术研究院有限公司 一种基于机器视觉的工件冲压系统及其控制方法
CN111013857A (zh) * 2019-12-11 2020-04-17 北京东方昊为工业装备有限公司 一种喷涂机器人控制系统及控制方法
CN111402411A (zh) * 2020-04-10 2020-07-10 贵刚 一种基于线结构光的散乱物识别抓取方法
CN112894800A (zh) * 2020-12-24 2021-06-04 苏州迈维视电子技术有限公司 一种工件抓取下料引导用方法
CN114113163A (zh) * 2021-12-01 2022-03-01 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法
CN114113163B (zh) * 2021-12-01 2023-12-08 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法

Similar Documents

Publication Publication Date Title
CN107053173A (zh) 机器人抓取系统及抓取工件的方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN108182689B (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
US8315455B2 (en) Robot system, robot control device and method for controlling robot
CN104923593B (zh) 一种基于视觉的顶层折弯板材定位方法
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
CN110509281A (zh) 基于双目视觉的位姿识别与抓取的装置与方法
CN111645074A (zh) 一种机器人抓取定位方法
CN106853639A (zh) 一种手机电池自动化装配系统及其控制方法
CN106903426A (zh) 一种基于机器视觉的激光焊接定位方法
CN105563481B (zh) 一种用于轴孔装配的机器人视觉引导方法
CN108177150A (zh) 基于视觉的电梯门板定位与抓取装置及方法
CN103464383A (zh) 工业机器人分拣系统及方法
CN112132889A (zh) 一种基于双目视觉的软磁体姿态识别及自动抓取方法
CN106269548A (zh) 一种物体自动分拣方法及其装置
CN111347411A (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN110751691A (zh) 一种基于双目视觉的管件自动抓取方法
CN203508417U (zh) 工业机器人分拣系统
CN113878576B (zh) 一种机器人视觉分拣工艺程序编制方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN102200780A (zh) 一种实现3h型ccd视觉工业机器人的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818