CN109352647A - 一种汽车用六轴机器人视觉抓取系统 - Google Patents

一种汽车用六轴机器人视觉抓取系统 Download PDF

Info

Publication number
CN109352647A
CN109352647A CN201811186794.XA CN201811186794A CN109352647A CN 109352647 A CN109352647 A CN 109352647A CN 201811186794 A CN201811186794 A CN 201811186794A CN 109352647 A CN109352647 A CN 109352647A
Authority
CN
China
Prior art keywords
module
joint robot
host computer
camera
connect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811186794.XA
Other languages
English (en)
Inventor
马标
朱龙英
刘玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangcheng Institute of Technology
Yancheng Institute of Technology
Original Assignee
Yangcheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangcheng Institute of Technology filed Critical Yangcheng Institute of Technology
Priority to CN201811186794.XA priority Critical patent/CN109352647A/zh
Publication of CN109352647A publication Critical patent/CN109352647A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种汽车用六轴机器人视觉抓取系统，包括电源模块、上位机、PLC模块、驱动模块、六轴机器人模块、视觉系统、图像采集模块和图像处理模块，其特征在于：所述电源模块分别与上位机、驱动模块和六轴机器人本体连接，所述PLC模块与所述驱动模块连接，所述驱动模块与六轴机器人本体连接，所述图像采集模块和所述图像处理模块与所述上位机连接，所述视觉系统与所述图像采集模块连接，所述视觉系统包括相机、镜头、光源和USB接口，能够准确的实现将物体抓取和放在指定的位置，因此可以节约大量的时间，减少了劳动力，同时也提高了生产效率和生产的精准性。

Description

一种汽车用六轴机器人视觉抓取系统
技术领域
本发明涉及视觉技术领域，具体为一种汽车用六轴机器人视觉抓取系统。
背景技术
随着工业4.0的钟声敲响，现在大部分的工厂都向智能制造的模式发展，机器视觉是人工智能正在快速发展的一个分支，简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作，传统的制造车间利用机器人进行抓取，但是物体有一定的位置偏差，则机器人不能准确的抓取，进一步限制了机器人的灵活性，给工作人员带来不便，增加工作人员的工作量，大大降低了工作效率。
发明内容
本发明的目的在于提供一种汽车用六轴机器人视觉抓取系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种汽车用六轴机器人视觉抓取系统，包括电源模块、上位机、PLC模块、驱动模块、六轴机器人模块、视觉系统、图像采集模块和图像处理模块，其特征在于：所述电源模块分别与上位机、驱动模块和六轴机器人本体连接，所述PLC模块与所述驱动模块连接，所述驱动模块与六轴机器人本体连接，所述图像采集模块和所述图像处理模块与所述上位机连接，所述视觉系统与所述图像采集模块连接，所述视觉系统包括相机、镜头、激光和USB接口。
第一步所述相机首先移动到被抓取物体的位置，将拍下的位置传送到图像采集模块，在图像采集模块内建立取物位置空间坐标系；
第二步所述相机移动到物体安装的位置，将安装的位置拍下图片传送到图像采集模块，在图像采集模块内建立安装位置空间坐标系；
第三步开始工作时，所述相机将上一工位传送过来的物体进行拍照，然后将图片在图像采集模块内进行处理，将处理后的图片建立空间坐标系，将此时的空间坐标系的值与取物位置空间坐标系的值进行对比，然后将补偿值通过以太网传送到上位机，上位机将补偿值发送到驱动模块。
第四步驱动模块接收到上位机传来的补偿值，然后驱动六轴机器人本体对物体进行抓取。
第五步六轴机器人本体将物体移动到安装位置时，通过相机将此时的安装位置进行图片采集，将图片传递到图像采集模块进行处理建立此时安装位置空间坐标系，然后将此时安装位置空间坐标系与安装位置空间坐标系进行对比将补偿值通过以太网发送到上位机，上位机将补偿值发送到驱动模块。
第六步驱动模块接收到上位机传来的补偿值，然后驱动六轴机器人本体将物体放入到安装位置。
优选的，所述上位机包括数据采集模块、数据处理与存储、系统参数初始化、数据显示和图形显示，所述上位机通过以太网与PLC模块、图像处理模块和图像采集模块连接传输数据，数据采集模块保证采集数据实时的处理，同事负责判断是否接受数据，将正确的数据进行处理并传给数据显示模块。
优选的，所述PLC模块为Q系列的大型PLC，所述PLC模块包括通信模块，所述通信模块与上位机和驱动模块连接。
优选的，所述相机为工业3D相机。
优选的，所述图像处理模块设置有以太网协议串口，将处理过后的图片传送到上位机。
优选的，所述图像采集模块采集图像尺寸和位置和方向。
优选的，所述相机在工作时所拍图片的位置应在补偿值的范围内。
与现有技术相比，本发明的有益效果是：通过视觉相机进行对物体拍照处理，将位置偏差传递给六轴机器人，能够准确的实现将物体抓取和放在指定的位置，因此可以节约大量的时间，减少了劳动力，同时也提高了生产效率和生产的精准性，该系统替代人工检测，数据更精准，更稳定，在人工无法工作的环境下工作，保障生产进行，而且从成本上看，替企业节省成本，提高产品合格率。
附图说明
图1为本发明的系统图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种实施例：一种汽车用六轴机器人视觉抓取系统，包括电源模块、上位机、PLC模块、驱动模块、六轴机器人模块、视觉系统、图像采集模块和图像处理模块，所述电源模块分别与上位机、驱动模块和六轴机器人本体连接，所述PLC模块与所述驱动模块连接，所述驱动模块与六轴机器人本体连接，所述图像采集模块和所述图像处理模块与所述上位机连接，所述视觉系统与所述图像采集模块连接，所述视觉系统包括相机、镜头、激光和USB接口。
第一步所述相机首先移动到被抓取物体的位置，将拍下的位置传送到图像采集模块，在图像采集模块内建立取物位置空间坐标系；
第二步所述相机移动到物体安装的位置，将安装的位置拍下图片传送到图像采集模块，在图像采集模块内建立安装位置空间坐标系；
第三步开始工作时，所述相机将上一工位传送过来的物体进行拍照，然后将图片在图像采集模块内进行处理，将处理后的图片建立空间坐标系，将此时的空间坐标系的值与取物位置空间坐标系的值进行对比，然后将补偿值通过以太网传送到上位机，上位机将补偿值发送到驱动模块。
第四步驱动模块接收到上位机传来的补偿值，然后驱动六轴机器人本体对物体进行抓取。
第五步六轴机器人本体将物体移动到安装位置时，通过相机将此时的安装位置进行图片采集，将图片传递到图像采集模块进行处理建立此时安装位置空间坐标系，然后将此时安装位置空间坐标系与安装位置空间坐标系进行对比将补偿值通过以太网发送到上位机，上位机将补偿值发送到驱动模块。
第六步驱动模块接收到上位机传来的补偿值，然后驱动六轴机器人本体将物体放入到安装位置。
在本实施中，相机将取物定位位置时拍到的照片和放入指定位置时的图片传递到图像采集模板，所述图像采集模板通过照片建立空间坐标系，所述图像采集模板将空间坐标系模板通过以太网传递到上位机，所述空间坐标系中图像的行数和列数[i,j]对应于图像网格的整数坐标，即像素的坐标是整数值，像素[0,0]位于图像的左上角，i指向下方，j指向右方.这种图像像素坐标系，正好对应计算机程序里的阵列语法.为了提高图像处理的精度，需要引入子像素概念，所谓子像素是指像素与像素之间的点，其坐标用小数表示，使用摄象机几何假设条件可以将像素点坐标转化成图像平面坐标图像平面坐标定义如下:假定摄像机主点，即光轴与图像平面的交点，位于图像的中心点，若图像阵列为m*n，则图像平面坐标的中心坐标为:
其中(Cx,Cy)表示中心坐标的估计值，图像平面坐标x轴方向是列数标号增加的方向，但y轴方向指向行数标号增加方向的反向.假定图像阵列的行列间距是相等的，则像素坐标[i,j]到图像坐标x1,y1的变换公式为:公式为了将当前的位置跟记录好的模板位置进行对比求偏差置。
在本实施中，上位机包括数据采集模块、数据处理与存储、系统参数初始化、数据显示和图形显示，所述上位机通过以太网与PLC模块、图像处理模块和图像采集模块连接传输数据，数据采集模块保证采集数据实时的处理，同事负责判断是否接受数据，将正确的数据进行处理并传给数据显示模块。
在本实施中，PLC模块为Q系列的大型PLC，所述PLC模块包括通信模块，所述通信模块与上位机和驱动模块连接，当上位机接收到偏差值，再将偏差值发送给机器人，同时会给PLC一个触发指令，然后PLC将信号传递给驱动模块，机器人将根据偏差值进行补偿，最终机器人将在正确的位置抓取到物体。
在本实施中，相机为工业3D相机，3D相机一般装有两个镜头，能够将扫描的物体呈现出立体影像。可以利用双目立体视觉来计算被检物体表面上的点的3D坐标(X,Y,Z)，这些点常常称为点云，点云对于3D物体形状的可视化非常有用，而且也可以被其他3D分析软件所用，比如LabVIEW工具网络现在提供AQSense 3D形状分析库(SAL3D)，并使用点云进行进一步图像处理和可视化。
在本实施中，图像处理模块设置有以太网协议串口，将处理过后的图片传送到上位机，成本低，可靠性高，开放性好，能够接受大数据的传送。
在本实施中，图像采集模块采集图像尺寸和位置和方向，物体的位置起着十分重要的作用.工业应用中，物体通常出现在已知表面(如工作台面)上，而且摄像机相对台面的位置也是已知的.在这种情况下，图像中的物体位置决定了它的空间位置.确定物体位置的方法有许多，比如用物体的外接矩形、物体矩心(区域中心)等来表示物体的位置.区域中心是通过对图像进行“全局”运算得到的一个点，因此它对图像中的噪声相对来说是不敏感的.对于二值图像，物体的中心位置与物体的质心相同，其次定义唯一的方向，一般假定物体是长形的，其长轴方向被定义为物体的方向通常，二维平面上与最小惯量轴同方向的最小二阶矩轴被定为长轴。
在本实施中，相机在工作时所拍图片的位置应在补偿值的范围内，防止物体在超过补偿值的位置时，相机拍不到所要抓取的物体和所要安装的位置。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种汽车用六轴机器人视觉抓取系统，包括电源模块、上位机、PLC模块、驱动模块、六轴机器人模块、视觉系统、图像采集模块和图像处理模块，其特征在于：所述电源模块分别与上位机、驱动模块和六轴机器人本体连接，所述PLC模块与所述驱动模块连接，所述驱动模块与六轴机器人本体连接，所述图像采集模块和所述图像处理模块与所述上位机连接，所述视觉系统与所述图像采集模块连接，所述视觉系统包括相机、镜头、激光和USB接口；
第一步所述相机首先移动到被抓取物体的位置，将拍下的位置传送到图像采集模块，在图像采集模块内建立取物位置空间坐标系；
第二步所述相机移动到物体安装的位置，将安装的位置拍下图片传送到图像采集模块，在图像采集模块内建立安装位置空间坐标系；
第三步开始工作时，所述相机将上一工位传送过来的物体进行拍照，然后将图片在图像采集模块内进行处理，将处理后的图片建立空间坐标系，将此时的空间坐标系的值与取物位置空间坐标系的值进行对比，然后将补偿值通过以太网传送到上位机，上位机将补偿值发送到驱动模块；
第四步驱动模块接收到上位机传来的补偿值，然后驱动六轴机器人本体对物体进行抓取；
第五步六轴机器人本体将物体移动到安装位置时，通过相机将此时的安装位置进行图片采集，将图片传递到图像采集模块进行处理建立此时安装位置空间坐标系，然后将此时安装位置空间坐标系与安装位置空间坐标系进行对比将补偿值通过以太网发送到上位机，上位机将补偿值发送到驱动模块；
第六步驱动模块接收到上位机传来的补偿值，然后驱动六轴机器人本体将物体放入到安装位置。
2.根据权利要求1所述的一种汽车用六轴机器人视觉抓取系统，其特征在于：所述上位机包括数据采集模块、数据处理与存储、系统参数初始化、数据显示和图形显示，所述上位机通过以太网与PLC模块、图像处理模块和图像采集模块连接传输数据，数据采集模块保证采集数据实时的处理，同事负责判断是否接受数据，将正确的数据进行处理并传给数据显示模块。
3.根据权利要求1所述的一种汽车用六轴机器人视觉抓取系统，其特征在于：所述PLC模块为Q系列的大型PLC，所述PLC模块包括通信模块，所述通信模块与上位机和驱动模块连接。
4.根据权利要求1所述的一种汽车用六轴机器人视觉抓取系统，其特征在于：所述相机为工业3D相机。
5.根据权利要求1所述的一种汽车用六轴机器人视觉抓取系统，其特征在于：所述图像处理模块设置有以太网协议串口，将处理过后的图片传送到上位机。
6.根据权利要求1所述的一种汽车用六轴机器人视觉抓取系统，其特征在于：所述图像采集模块采集图像尺寸、位置和方向。
7.根据权利要求1所述的一种汽车用六轴机器人视觉抓取系统，其特征在于：所述相机在工作时所拍图片的位置应在补偿值的范围内。
CN201811186794.XA 2018-10-12 2018-10-12 一种汽车用六轴机器人视觉抓取系统 Pending CN109352647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811186794.XA CN109352647A (zh) 2018-10-12 2018-10-12 一种汽车用六轴机器人视觉抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811186794.XA CN109352647A (zh) 2018-10-12 2018-10-12 一种汽车用六轴机器人视觉抓取系统

Publications (1)

Publication Number Publication Date
CN109352647A true CN109352647A (zh) 2019-02-19

Family

ID=65348756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811186794.XA Pending CN109352647A (zh) 2018-10-12 2018-10-12 一种汽车用六轴机器人视觉抓取系统

Country Status (1)

Country Link
CN (1) CN109352647A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110181512A (zh) * 2019-05-22 2019-08-30 中国电子科技集团公司第十四研究所 一种变压器铁芯自动叠片机器人工作站的控制系统
CN110421563A (zh) * 2019-07-28 2019-11-08 南京驭逡通信科技有限公司 一种工业机器人建图定位系统及机器人
CN112157409A (zh) * 2020-08-13 2021-01-01 盐城工学院 基于abb120的自动装配线程序设计方法
CN112607394A (zh) * 2020-12-18 2021-04-06 如东联亿机电有限公司 一种基于视觉定位的机器人上料系统及其上料方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101637908A (zh) * 2008-07-29 2010-02-03 上海发那科机器人有限公司 一种用于机器人搬运作业的视觉定位方法
CN103264738A (zh) * 2013-06-07 2013-08-28 上海发那科机器人有限公司 一种汽车风挡玻璃的自动装配系统及自动装配方法
EP2711144A1 (en) * 2012-09-20 2014-03-26 Kabushiki Kaisha Yaskawa Denki Robot system and workpiece transfer method
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN105729477A (zh) * 2016-05-05 2016-07-06 四川省桑瑞光辉标识系统股份有限公司 基于视觉定位的老化流水线灯管自动放置方法及系统
CN206154313U (zh) * 2016-11-02 2017-05-10 中意联动科技（天津）有限公司 一种自定位工业机器人系统
CN106670763A (zh) * 2017-01-10 2017-05-17 荣旗工业科技（苏州）有限公司 一种高精度自动组装机的计算方法
CN106695784A (zh) * 2016-12-02 2017-05-24 中国东方电气集团有限公司 一种机器人视觉控制系统
CN107470170A (zh) * 2017-07-13 2017-12-15 上海第二工业大学 基于机器视觉的pcb检测分拣系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101637908A (zh) * 2008-07-29 2010-02-03 上海发那科机器人有限公司 一种用于机器人搬运作业的视觉定位方法
EP2711144A1 (en) * 2012-09-20 2014-03-26 Kabushiki Kaisha Yaskawa Denki Robot system and workpiece transfer method
CN103264738A (zh) * 2013-06-07 2013-08-28 上海发那科机器人有限公司 一种汽车风挡玻璃的自动装配系统及自动装配方法
CN103706568A (zh) * 2013-11-26 2014-04-09 中国船舶重工集团公司第七一六研究所 基于机器视觉的机器人分拣系统及方法
CN105729477A (zh) * 2016-05-05 2016-07-06 四川省桑瑞光辉标识系统股份有限公司 基于视觉定位的老化流水线灯管自动放置方法及系统
CN206154313U (zh) * 2016-11-02 2017-05-10 中意联动科技（天津）有限公司 一种自定位工业机器人系统
CN106695784A (zh) * 2016-12-02 2017-05-24 中国东方电气集团有限公司 一种机器人视觉控制系统
CN106670763A (zh) * 2017-01-10 2017-05-17 荣旗工业科技（苏州）有限公司 一种高精度自动组装机的计算方法
CN107470170A (zh) * 2017-07-13 2017-12-15 上海第二工业大学 基于机器视觉的pcb检测分拣系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
常勇: "《基于空间数据的户外增强现实技术研究》", 28 February 2015, 山东大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110181512A (zh) * 2019-05-22 2019-08-30 中国电子科技集团公司第十四研究所 一种变压器铁芯自动叠片机器人工作站的控制系统
CN110421563A (zh) * 2019-07-28 2019-11-08 南京驭逡通信科技有限公司 一种工业机器人建图定位系统及机器人
CN112157409A (zh) * 2020-08-13 2021-01-01 盐城工学院 基于abb120的自动装配线程序设计方法
CN112607394A (zh) * 2020-12-18 2021-04-06 如东联亿机电有限公司 一种基于视觉定位的机器人上料系统及其上料方法

Similar Documents

Publication Publication Date Title
CN109352647A (zh) 一种汽车用六轴机器人视觉抓取系统
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111089569B (zh) 一种基于单目视觉的大型箱体测量方法
CN110202573B (zh) 全自动手眼标定、工作平面标定方法及装置
CN107253190B (zh) 一种高精度机器人手眼相机自动标定的装置及其使用方法
CN111421539A (zh) 一种基于计算机视觉的工业零件智能识别与分拣系统
CN109741405A (zh) 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN111673735A (zh) 一种基于单目视觉定位的机械臂控制方法及装置
CN108908334A (zh) 一种基于深度学习的智能抓取系统及方法
CN105217324A (zh) 一种新型的拆垛方法和系统
CN104915957A (zh) 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN207457833U (zh) 一种机器人的避障控制系统
CN111906788B (zh) 一种基于机器视觉的卫浴智能打磨系统及其打磨方法
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN107478203A (zh) 一种基于激光扫描的3d成像装置及成像方法
Xia et al. Workpieces sorting system based on industrial robot of machine vision
CN110142770A (zh) 一种基于头戴显示装置的机器人示教系统及方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN104760812A (zh) 基于单目视觉的传送带上产品实时定位系统和方法
CN108818537A (zh) 一种基于云端深度学习的机器人工业分拣方法
CN201681051U (zh) 集成电路芯片封装成型质量视觉检测系统
CN106964907A (zh) 一种激光切割的方法和设备
CN108827250A (zh) 一种机器人单目视觉测距技术方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219

RJ01 Rejection of invention patent application after publication