CN111251292B - 基于视觉定位的工件装配方法、装置和存储介质 - Google Patents

基于视觉定位的工件装配方法、装置和存储介质 Download PDF

Info

Publication number
CN111251292B
CN111251292B CN202010029843.XA CN202010029843A CN111251292B CN 111251292 B CN111251292 B CN 111251292B CN 202010029843 A CN202010029843 A CN 202010029843A CN 111251292 B CN111251292 B CN 111251292B
Authority
CN
China
Prior art keywords
workpiece
transferred
coordinate system
robot
dimensional camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010029843.XA
Other languages
English (en)
Other versions
CN111251292A (zh
Inventor
何光亮
罗坚铭
李威胜
陈宣瑾
关日钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Dile Vision Technology Co ltd
Original Assignee
Foshan Dile Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Dile Vision Technology Co ltd filed Critical Foshan Dile Vision Technology Co ltd
Priority to CN202010029843.XA priority Critical patent/CN111251292B/zh
Publication of CN111251292A publication Critical patent/CN111251292A/zh
Application granted granted Critical
Publication of CN111251292B publication Critical patent/CN111251292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于视觉定位的工件装配方法、装置和存储介质,方法包括以下步骤:获取第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置;根据第一位置通过第一机器人将第一工件进行转移,以及根据第二位置通过第二机器人将第二工件进行转移;获取转移的第一工件在第一二维相机坐标系下的第三位置,以及转移的第二工件在第二二维相机坐标系下的第四位置;根据第三位置通过第一机器人抓取转移的第一工件,根据第四位置通过第二机器人抓取转移的第二工件,并将转移的第一工件和转移的第二工件进行对接装配。通过本发明能够高效且快捷地对工件进行装配。本发明可广泛应用于工件生产领域。

Description

基于视觉定位的工件装配方法、装置和存储介质
技术领域
本发明涉及工件生产领域,尤其是一种基于视觉定位的工件装配方法、装置和存储介质。
背景技术
随着科学技术的发展和人们生活水平的提高,企业竞争越发激烈,企业如何提高生产力,提升效率或降低成本,是企业需要面临的问题,尤其是制造业的相关企业。
现今在对工件进行处理的过程中,例如上料,下料、装配等工序,都为人工操作,或者需要将来料放到一个固定的治具中,而通常不同的来料需要设计不同的治具,使得成本非常高昂,不利于生产成本的降低。也就是说现有的工件处理过程,具有效率低,生产成本高的缺点。
发明内容
有鉴于此,为了解决上述技术问题,本发明的目的是提供效率高且成本低的基于视觉定位的工件装配方法、装置和存储介质。
本发明采用的技术方案是:基于视觉定位的工件装配方法,包括以下步骤:
获取第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置;
根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移;
获取转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置;
根据所述第三位置通过第一机器人抓取转移的所述第一工件,根据所述第四位置通过第二机器人抓取转移的所述第二工件,并将转移的所述第一工件和转移的所述第二工件进行对接装配。
进一步,所述根据所述第一位置通过第一机器人将所述第一工件进行转移的步骤中,包括以下步骤:
获取所述第一三维相机坐标系与所述第一机器人的坐标系的第一旋转平移矩阵;
根据第一位置和第一旋转平移矩阵,通过第一机器人将所述第一工件进行转移。
进一步,所述根据第一位置和第一旋转平移矩阵,通过第一机器人将所述第一工件进行转移的步骤中,包括以下步骤:
根据第一位置和第一旋转平移矩阵,得到所述第一工件在所述第一机器人的坐标系下的第一转换位置;
根据第一转换位置,通过第一机器人将所述第一工件转移至第一二维识别平台供所述第一二维相机进行拍摄。
进一步,所述根据所述第三位置通过第一机器人抓取转移的所述第一工件的步骤中,包括以下步骤:
获取所述第一二维相机坐标系与所述第一机器人的坐标系的第二旋转平移矩阵;
根据第三位置和第二旋转平移矩阵,通过第一机器人抓取位于所述第一二维识别平台上的转移的所述第一工件。
进一步,所述根据所述第三位置通过第一机器人抓取转移的所述第一工件的步骤中,包括以下步骤:
获取所述第一二维相机坐标系与所述第一机器人的坐标系的第二旋转平移矩阵;
根据第三位置和第二旋转平移矩阵,得到转移的所述第一工件在所述第一机器人的坐标系下的第二转换位置;
根据第二转换位置,通过第一机器人抓取转移的所述第一工件。
进一步,所述将转移的所述第一工件和转移的所述第二工件进行对接装配的步骤中,包括以下步骤:
根据预设装配轨迹,将通过所述第一机器人抓取的转移的所述第一工件,与通过所述第二机器人抓取的转移的所述第二工件进行对接匹配。
进一步,还包括以下步骤:所述第一机器人或所述第二机器人将组合件进行转移,其中组合件为转移的所述第一工件和转移的所述第二工件进行装配所得到。
本发明还提供基于视觉定位的工件装配装置,包括:
获取模块,用于获取第一工件在第一三维相机坐标系下的第一位置、第二工件在第二三维相机坐标系下的第二位置、转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置;
转移模块,用于根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移;
装配模块,用于根据所述第三位置通过第一机器人抓取转移的所述第一工件,根据所述第四位置通过第二机器人抓取转移的所述第二工件,并将转移的所述第一工件和转移的所述第二工件进行对接装配。
本发明还提供另一种基于视觉定位的工件装配装置,包括:
拍摄设备,用于获取第一工件和第二工件的图像;
工控机,用于根据第一工件和第二工件的图像,得到第一工件在第一三维相机坐标系下的第一位置、第二工件在第二三维相机坐标系下的第二位置、转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置,并根据第一位置和第三位置控制第一机器人,根据第二位置和第四位置控制第二机器人;
第一机器人,用于受工控机控制,将所述第一工件进行转移,以及抓取转移的所述第一工件与转移的所述第二工件进行对接装配;
第二机器人,用于受工控机控制,将所述第二工件进行转移,以及抓取转移的所述第二工件与转移的所述第一工件进行对接装配。
本发明还提供存储介质,存储有处理器可执行的指令,处理器执行所述处理器可执行的指令时执行所述基于视觉定位的工件装配方法。
本发明的有益效果是:通过获取第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置,根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移,自动识别工件,不需要人工参与或根据不同的工件设计不同的治具,降低了成本;获取转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置,并根据所述第三位置和所述第四位置分别通过第一机器人抓取转移的所述第一工件,通过第二机器人抓取转移的所述第二工件并进行对接装配,效率高;同时,将三维定位与二维定位结合,使得转移的所述第一工件和转移的所述第二工件装配精度高。
附图说明
图1为本发明装置的第一结构框图;
图2为本发明装置的结构示意图;
图3为本发明装置的第二结构框图;
图4为本发明方法的步骤流程示意图;
图5为本发明具体实施例的方法步骤流程示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1和图2所示,在本实施例中,基于视觉定位的工件装配装置,包括:
拍摄设备,用于获取第一工件和第二工件的图像;
工控机,用于根据第一工件和第二工件的图像,得到第一工件在第一三维相机坐标系下的第一位置、第二工件在第二三维相机坐标系下的第二位置、转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置,并根据第一位置和第三位置控制第一机器人,根据第二位置和第四位置控制第二机器人;
第一机器人,用于受工控机控制,将所述第一工件进行转移,以及抓取转移的所述第一工件与转移的所述第二工件进行对接装配;
第二机器人,用于受工控机控制,将所述第二工件进行转移,以及抓取转移的所述第二工件与转移的所述第一工件进行对接装配。
如图2所示,在本实施例中,拍摄设备包括第一三维相机1、第二三维相机2、第一二维相机3和第二二维相机4,第一三维相机用于拍摄所述第一工件5,第二三维相机用于拍摄所述第二工件6,第一二维相机3用于拍摄转移的所述第一工件5,第二二维相机4用于拍摄转移的所述第二工件6。
可选地,所述第一工件、所述第二工件为中小型金属加工配件或非金属配件,表面粗糙、形状区别鲜明,具有良好的曲面特征的工件。
其中,工控机(未图示)具有软件系统,安装有各种工控软件,具有控制、图像处理、生产信息识别等功能,能够与第一机器人7和第二机器人8通信,实现整体的逻辑控制。在本实施例中,工控机用于对第一三维相机和第二三维相机拍摄的图像进行处理,得到所述第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置;对第一二维相机和第二二维相机拍摄的图像进行处理,得到转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置。
进一步作为可选地实施方式,还包括光源、第一三维识别平台A(第一料盘)、第二三维识别平台B(第二料盘)、第一二维识别平台C、第二二维识别平台D和传输线E。其中,第一三维识别平台用于放置所述第一工件,第二三维识别平台用于放置所述第二工件。传输线E用于运输组合件。
第一二维识别平台用于放置转移的所述第一工件(即被所述第一机器人从第一三维识别平台转移后的所述第一工件),供第一二维相机拍摄获取转移的所述第一工件在第一二维相机坐标系下的第三位置;第二二维识别平台用于放置转移的所述第二工件(即被所述第二机器人从第二三维识别平台转移后的转移后的所述第二工件),供第二二维相机拍摄获取转移的所述第二工件在第二二维相机坐标系下的第四位置。
可选地,所述第一机器人和所述第二机器人均为六轴机器人,可以对工件实现不同的姿态的拾取,更有利于对工件的操作和装配。所述第一机器人用于受工控机控制,根据所述第一位置将所述第一工件转移至第一二维识别平台,然后根据第三位置抓取转移的所述第一工件与转移的所述第二工件进行对接装配;所述第二机器人用于根据所述第二位置将所述第二工件转移至第二二维识别平台,然后根据第四位置抓取转移的所述第二工件与转移的所述第一工件进行对接装配。
如图2所示,其中,灯源(与二维相机固定)用于辅助所述拍摄设备获取图像;显示器9用于进行直观的界面显示,显示图像,进行参数录入,记录模板和模板导入等。
如图3所示,本实施例还提供另一种基于视觉定位的工件装配装置,包括:
获取模块,用于获取第一工件在第一三维相机坐标系下的第一位置、第二工件在第二三维相机坐标系下的第二位置、转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置;
转移模块,用于根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移;
装配模块,用于根据所述第三位置通过第一机器人抓取转移的所述第一工件,根据所述第四位置通过第二机器人抓取转移的所述第二工件,并将转移的所述第一工件和转移的所述第二工件进行对接装配。
上述装置实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述装置实施例相同,并且达到的有益效果与上述装置实施例所达到的有益效果也相同。
如图4所示,本实施例提供一种基于视觉定位的工件装配方法,包括以下步骤:
获取第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置;
根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移;
获取转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置;
根据所述第三位置通过第一机器人抓取转移的所述第一工件,根据所述第四位置通过第二机器人抓取转移的所述第二工件,并将转移的所述第一工件和转移的所述第二工件进行对接装配。
如图4和图5所示,在本实施例中,基于视觉定位的工件装配方法可以包括以下步骤:
步骤S1:获取所述第一位置和所述第二位置。
具体地,可包括以下步骤:
S11:通过所述第一三维相机拍摄获取第一三维识别平台内的第一工件的图像,以及通过所述第二三维相机拍摄获取第二三维识别平台内的第二工件的图像;
S12:通过工控机对所述第一三维相机获取的图像以及对所述第二三维相机获取的图像进行处理,得到第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置。
例如,对所述第一工件和所述第二工件进行三维重构,利用图像处理算法对获取的图像求出场景视差图,并由场景视差图获取得到三维场景的点云,即三维点云图,再通过三维模板进行匹配找出所述第一工件和所述第二工件在点云中的位置,即所述第一位置和所述的第二位置。其中三维模板为:事先对所述第一工件和所述第二工件建立模板,例如,对所述第一工件和所述第二工件进行拍摄,获取所述第一工件和所述第二工件的三维信息,然后分别示教所述第一机器人和所述第二机器人的抓取姿势,并将参数进行保存得到三维模板,当需要所述第一机器人和所述第二机器人进行所述第一工件和所述第二工件的转移时,将三维模板导入即可。因此,即使所述第一工件具有多种不同类型,或所述第一工件具有多种不同类型,均可以通过事先建立三维模板解决,适用性强。
步骤S2:进行工件的转移。
具体地,包括以下步骤:
S21:获取所述第一三维相机坐标系与所述第一机器人的坐标系的第一旋转平移矩阵,以及获取所述第二三维相机坐标系与所述第二机器人的坐标系的第三旋转平移矩阵;
S22:根据所述第一位置和所述第一旋转平移矩阵,通过工控机计算得到所述第一工件在所述第一机器人的坐标系下的第一转换位置,以及根据所述第二位置和所述第三旋转平移矩阵,计算得到所述第二工件在所述第二机器人的坐标系下的第三转换位置。例如,通过将所述第一位置与所述第一旋转平移矩阵相乘即可得到第一转换位置,第三转换位置的计算原理相同。
例如,以第一三维相机为例,获取第一旋转平移矩阵R1,通过第一三维相机和工控机可以获取所述第一工件在第一三维相机坐标系下的所述第一位置,以一个点p为例,假设在第一三维相机坐标系下坐标为(x′,y′,z′)),且该p点在第一机器人的坐标系下的坐标为(x,y,z),将点的坐标理解成一个向量,设x轴方向的单位向量为
Figure BDA0002363865990000071
y轴方向的单位向量为
Figure BDA0002363865990000072
z轴方向的单位向量为
Figure BDA0002363865990000073
第一机器人的坐标系的原点相对第一三维相机坐标系的坐标为(x0,y0,z0),x轴方向的方向向量:
Figure BDA0002363865990000074
y轴方向的方向向量:
Figure BDA0002363865990000075
z轴方向的方向向量:
Figure BDA0002363865990000076
所述第一工件在第一三维相机坐标系下的位置可以通过所述第一工件三维匹配计算得出,所述第一工件在第一机器人的坐标系中可以直接通过对第一机器人的系统读取得到。以此构造出一个方程组:
x=uxx′+vxy′+nxz′+x0
y=uyx′+vyy'+nyz′+y0
z=uzx′+vzy′+nzz′+z0
Figure BDA0002363865990000077
是单位向量,x轴的方向向量对应方程组第一个方程式,y轴的方向向量对应第二个方程式,z轴的方向向量对应第三个方程式。
位置描述:第一三维相机的坐标系A中,空间任意一点p的位置可以用一个3*1的向量表述:
Figure BDA0002363865990000078
方位描述:第一机器人的坐标系B的三个单位向量相对第一三维相机的坐标系A的方向余弦组成的3*3矩阵:
Figure BDA0002363865990000079
ux、vx、ux、uy、vy、ny、uz、vz、nz均为方向余弦的量。
然后可用第一机器人的坐标系B来描述第一三维相机的坐标系A中的位置:
Figure BDA00023638659900000710
根据坐标系间的转换关系即第一三维相机的坐标系A下的三维点p(x′,y′,z′)转换到第一机器人坐标系下的点p(x,y,z);
根据方程组可以得到一个对应的齐次矩阵:
Figure BDA0002363865990000081
要求出左边方阵的逆矩阵,需要左乘一个方阵使得方阵变成以下形式:
Figure BDA0002363865990000082
Figure BDA0002363865990000083
最后得到第一旋转平移矩阵R1:
Figure BDA0002363865990000084
可以看到,上述方程式中有12个参数是未知变量,因为要使得方程有唯一解,需要有至少12组方程,也就是说,要求第一三维相机坐标系到第一机器人的坐标系一个转换关系,就要获取所述第一工件相同状态下至少12组第一三维相机与第一机器人的坐标系中的位置信息,从而求解出所述第一旋转平移矩阵,这个过程称为手眼标定。在本实施例中,运用手眼标定配置关系来标定出第一旋转平移矩阵R1。具体方法如下:把标定板固定于第一机器人末端,第一三维相机拍照获取标定板在第一三维相机坐标系中的位置信息,同时也读取出在此姿态下第一机器人的当前位置信息,两个位置信息即可建立一个方程,重复获取12组数据可得12组方程。即可解出上述公式中的第一旋转平移矩阵R1。
S23:控制所述第一机器人从初始位置移动至所述第一转换位置将所述第一工件进行转移,并转移至第一二维识别平台,此时位于所述第一二维识别平台上的所述第一工件即为转移的所述第一工件;控制所述第二机器人从初始位置移动至所述第三转换位置将所述第二工件进行转移,并转移至第二二维识别平台,此时位于所述第二二维识别平台上的所述第二工件即为转移的所述第二工件。
步骤S3:获取所述第三位置和所述第四位置。
具体地,可包括以下步骤:
S31:通过所述第一二维相机对位于所述第一二维识别平台上转移的所述第一工件进行拍摄,以及通过所述第二二维相机对位于所述第二二维识别平台上转移的所述第二工件进行拍摄;
S32:通过工控机对所述第一二维相机获取的图像以及对所述第二二维相机获取的图像进行处理,得到转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置。
步骤S4:转移的所述第一工件和转移的所述第二工件的对接装配。
具体地,可以包括以下步骤:
S41:获取所述第一二维相机坐标系与所述第一机器人的坐标系的第二旋转平移矩阵,以及获取所述第二二维相机坐标系与所述第一机器人的坐标系的第四旋转平移矩阵;
S42:根据所述第三位置和所述第二旋转平移矩阵,通过工控机计算得到转移的所述第一工件在所述第一机器人坐标系下的第二转换位置,以及根据所述第四位置和所述第四旋转平移矩阵,计算得到转移的所述第二工件在所述第二机器人的坐标系下的第四转换位置。
在本实施例中,第一二维相机与第一机器人的坐标系的标定利用的为九点法,只需获取九组位置关系即可得到第二旋转平移矩阵;所述第四旋转平移矩阵的获取方法相同。通过二维定位使得对转移的所述第一工件和转移的所述第二工件的定位精度有所提高,保证后续装配过程的进行,使得装配精度高。
S43:通过所述第一机器人移动至所述第二转换位置抓取转移的所述第一工件并移动至第一等待位置;通过所述第二机器人移动至所述第四转换位置抓取转移的所述第二工件并移动至第二等待位置。其中,第一等待位置和第二等待位置为所述第一机器人和所述第二机器人之间的位置;
S44:所述第一机器人维持不动,所述第二机器人按照预设装配轨迹进行运动,完成装配过程,得到组合件。
其中,预设装配轨迹为:事先使所述第一机器人将所述第一工件移动至一个合适的第一等待位置,使所述第二机器人将所述第二工件移动至一个合适的第二等待位置,其中第一等待位置和第二等待位置指的是能够使得装配过程顺利进行的位置,可选地为所述第一机器人和所述第二机器人之间的中心位置,然后通过所述第一机器人和所述第二机器人实现装配过程并记录参数,进行保存即得到预设装配轨迹。因此,可知道即使工件具有不同的类型,只需要事先记录装配过程即可以实现不同的类型工件的装备,适用性强。
步骤S5:组合件的转移。
具体地,所述第二机器人对组合件进行释放并返回至初始位置,所述第一机器人将组合件转移至传输线上,经传输线运走,然后返回到初始位置,等待并进行下一个组合件的装配过程。因此,整个装配过程的完成以及组合件的运输不需要通过人工参与,大大提高了效率。
另外,在其他实施例中,可以先由所述第一机器人或所述第二机器人中的其中一者先将所述第一工件或所述第二工件移动对应移动至第一等待位置和第二等待位置,然后所述第一机器人或所述第二机器人中的另一者才进行运动。例如,先通过所述第二机器人将所述第二工件转移至所述第二二维识别平台,再通过所述第二机器人将转移的所述第二工件移动至第二等待位置;然后才通过所述第一机器人将所述第一工件转移至所述第一二维识别平台,再通过所述第一机器人将转移的所述第一工件移动至第一等待位置。同时,在装配过程中,所述第一机器人和所述第二机器人可以两者均移动,也可以只通过其中一者移动。
上述装置实施例中的内容均适用于本方法实施例中,本方法实施例所具体实现的功能与上述装置实施例相同,并且达到的有益效果与上述装置实施例所达到的有益效果也相同。
综上所述,相较于现有技术,本发明具有以下优点:
1)通过获取第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置,根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移,自动识别工件,不需要人工参与或根据不同的工件设计不同的治具,降低了成本;
2)获取转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置,并根据所述第三位置和所述第四位置分别通过第一机器人抓取转移的所述第一工件,通过第二机器人抓取转移的所述第二工件并进行对接装配,效率高;
3)同时,将三维定位与二维定位结合,二维(平面)定位比三维定位拥有更高的定位精度,解决了现有的三维拾取精度不能达到装配要求的问题,得到更高精度的位置使装配过程能够顺利完成;
4)本方案使用了两处视觉传感器(三维相机拍照定位,二维相机拍照定位),具有一定的柔性判断,可以适应处所述第一工件或所述第二工件任意放置的情况,通过二维拍照定位增加定位精准度,不需要规定述第一工件或所述第二工件来料时保持统一状态也可进行拾取转移,且抓取姿态可以根据工件不同而随意更换,即不同工件可以有不同的抓取姿态,如果需要更换抓取装配产品,只需要用新的工件在做一次模板,导入模板就可以实现抓取零件的更换,简单快捷,适用性极强;
在一些可选择的实施例中,在本发明的步骤所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
本发明实施例还提供了一种存储介质,存储有处理器可执行的指令,处理器执行所述处理器可执行的指令时执行所述基于视觉定位的工件装配方法。
同样可见,上述方法实施例中的内容均适用于本存储介质实施例中,实现的功能和有益效果与方法实施例相同。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例中的步骤表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
在本说明书的描述中,参考术语“一个实施例”、“本实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于视觉定位的工件装配方法,其特征在于,包括以下步骤:
获取第一工件在第一三维相机坐标系下的第一位置,以及第二工件在第二三维相机坐标系下的第二位置;
根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移;
获取转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置;
根据所述第三位置通过第一机器人抓取转移的所述第一工件,根据所述第四位置通过第二机器人抓取转移的所述第二工件,并将转移的所述第一工件和转移的所述第二工件进行对接装配。
2.根据权利要求1所述基于视觉定位的工件装配方法,其特征在于:所述根据所述第一位置通过第一机器人将所述第一工件进行转移的步骤中,包括以下步骤:
获取所述第一三维相机坐标系与所述第一机器人的坐标系的第一旋转平移矩阵;
根据第一位置和第一旋转平移矩阵,通过第一机器人将所述第一工件进行转移。
3.根据权利要求2所述基于视觉定位的工件装配方法,其特征在于:所述根据第一位置和第一旋转平移矩阵,通过第一机器人将所述第一工件进行转移的步骤中,包括以下步骤:
根据第一位置和第一旋转平移矩阵,得到所述第一工件在所述第一机器人的坐标系下的第一转换位置;
根据第一转换位置,通过第一机器人将所述第一工件转移至第一二维识别平台供所述第一二维相机进行拍摄。
4.根据权利要求3所述基于视觉定位的工件装配方法,其特征在于:所述根据所述第三位置通过第一机器人抓取转移的所述第一工件的步骤中,包括以下步骤:
获取所述第一二维相机坐标系与所述第一机器人的坐标系的第二旋转平移矩阵;
根据第三位置和第二旋转平移矩阵,通过第一机器人抓取位于所述第一二维识别平台上的转移的所述第一工件。
5.根据权利要求1所述基于视觉定位的工件装配方法,其特征在于:所述根据所述第三位置通过第一机器人抓取转移的所述第一工件的步骤中,包括以下步骤:
获取所述第一二维相机坐标系与所述第一机器人的坐标系的第二旋转平移矩阵;
根据第三位置和第二旋转平移矩阵,得到转移的所述第一工件在所述第一机器人的坐标系下的第二转换位置;
根据第二转换位置,通过第一机器人抓取转移的所述第一工件。
6.根据权利要求1所述基于视觉定位的工件装配方法,其特征在于:所述将转移的所述第一工件和转移的所述第二工件进行对接装配的步骤中,包括以下步骤:
根据预设装配轨迹,将通过所述第一机器人抓取的转移的所述第一工件,与通过所述第二机器人抓取的转移的所述第二工件进行对接匹配。
7.根据权利要求1所述基于视觉定位的工件装配方法,其特征在于:还包括以下步骤:所述第一机器人或所述第二机器人将组合件进行转移,其中组合件为转移的所述第一工件和转移的所述第二工件进行装配所得到。
8.基于视觉定位的工件装配装置,其特征在于,包括:
获取模块,用于获取第一工件在第一三维相机坐标系下的第一位置、第二工件在第二三维相机坐标系下的第二位置、转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置;
转移模块,用于根据所述第一位置通过第一机器人将所述第一工件进行转移,以及根据所述第二位置通过第二机器人将所述第二工件进行转移;
装配模块,用于根据所述第三位置通过第一机器人抓取转移的所述第一工件,根据所述第四位置通过第二机器人抓取转移的所述第二工件,并将转移的所述第一工件和转移的所述第二工件进行对接装配。
9.基于视觉定位的工件装配装置,其特征在于,包括:
拍摄设备,用于获取第一工件和第二工件的图像;
工控机,用于根据第一工件和第二工件的图像,得到第一工件在第一三维相机坐标系下的第一位置、第二工件在第二三维相机坐标系下的第二位置、转移的所述第一工件在第一二维相机坐标系下的第三位置,以及转移的所述第二工件在第二二维相机坐标系下的第四位置,并根据第一位置和第三位置控制第一机器人,根据第二位置和第四位置控制第二机器人;
第一机器人,用于受工控机控制,将所述第一工件进行转移,以及抓取转移的所述第一工件与转移的所述第二工件进行对接装配;
第二机器人,用于受工控机控制,将所述第二工件进行转移,以及抓取转移的所述第二工件与转移的所述第一工件进行对接装配。
10.存储介质,存储有处理器可执行的指令,其特征在于:处理器执行所述处理器可执行的指令时执行如权利要求1-7任一项所述基于视觉定位的工件装配方法。
CN202010029843.XA 2020-01-13 2020-01-13 基于视觉定位的工件装配方法、装置和存储介质 Active CN111251292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010029843.XA CN111251292B (zh) 2020-01-13 2020-01-13 基于视觉定位的工件装配方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010029843.XA CN111251292B (zh) 2020-01-13 2020-01-13 基于视觉定位的工件装配方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111251292A CN111251292A (zh) 2020-06-09
CN111251292B true CN111251292B (zh) 2021-08-10

Family

ID=70944056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010029843.XA Active CN111251292B (zh) 2020-01-13 2020-01-13 基于视觉定位的工件装配方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111251292B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112879401A (zh) * 2020-12-30 2021-06-01 富泰华精密电子(成都)有限公司 工件加工方法
CN112883842B (zh) * 2021-02-02 2022-12-16 四川省机械研究设计院(集团)有限公司 基于零件与光源相互匹配的摩托车发动机装配方法与系统
CN113305832B (zh) * 2021-04-30 2022-10-04 深圳市世宗自动化设备有限公司 斜面点胶贴合方法、装置、计算机设备及其存储介质
CN113997059A (zh) * 2021-11-02 2022-02-01 珠海格力智能装备有限公司 一种压缩机工件装配方法、装置、系统及存储介质
CN115570562B (zh) * 2022-09-05 2023-06-02 梅卡曼德(北京)机器人科技有限公司 机器人装配位姿确定方法、装置、机器人及存储介质
CN116374638A (zh) * 2023-05-15 2023-07-04 常州铭赛机器人科技股份有限公司 上下料装置、上下料方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104044145A (zh) * 2013-03-14 2014-09-17 株式会社安川电机 机器人系统及被加工物的制造方法
CN207508608U (zh) * 2017-08-25 2018-06-19 深圳市光大激光科技股份有限公司 一种自动供料组装设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011115877A (ja) * 2009-12-02 2011-06-16 Canon Inc 双腕ロボット
JP5653073B2 (ja) * 2010-05-19 2015-01-14 キヤノン株式会社 ロボットセル装置及び生産システム
JP6674529B2 (ja) * 2016-02-26 2020-04-01 株式会社Fuji ロボットアーム制御システム
CN109129445B (zh) * 2018-09-29 2020-11-10 先临三维科技股份有限公司 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN109500591B (zh) * 2018-11-06 2021-01-26 智车优行科技(上海)有限公司 基于视觉定位的装配系统及装配方法和生产线

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104044145A (zh) * 2013-03-14 2014-09-17 株式会社安川电机 机器人系统及被加工物的制造方法
CN207508608U (zh) * 2017-08-25 2018-06-19 深圳市光大激光科技股份有限公司 一种自动供料组装设备

Also Published As

Publication number Publication date
CN111251292A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111251292B (zh) 基于视觉定位的工件装配方法、装置和存储介质
CN101637908B (zh) 一种用于机器人搬运作业的视觉定位方法
JP5200772B2 (ja) ロボット装置の制御方法及びロボット装置
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
US20040172164A1 (en) Method and apparatus for single image 3D vision guided robotics
CN111958604A (zh) 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法
CN113715016B (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
CN110605711B (zh) 一种控制协作机器人抓取物体的方法、装置及系统
CN110909644A (zh) 基于强化学习的机械臂末端执行器抓取姿态调整方法及系统
CN111645074A (zh) 一种机器人抓取定位方法
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
Yang et al. Visual servoing of humanoid dual-arm robot with neural learning enhanced skill transferring control
CN114347015A (zh) 一种机器人抓取控制方法、系统、装置及介质
CN112109072A (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN115358965A (zh) 焊接变形量自适应的直线焊缝打磨轨迹生成方法及装置
CN112907682A (zh) 一种五轴运动平台的手眼标定方法、装置及相关设备
TWI660255B (zh) Workpiece processing method and processing system
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
CN115674277A (zh) 一种具有手眼相机的双机械臂装置及其控制方法
CN116206189A (zh) 一种曲面图形标识码及其识别方法
CN115284279A (zh) 一种基于混叠工件的机械臂抓取方法、装置及可读介质
CN112171664B (zh) 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统
CN114833825A (zh) 协作机器人控制方法、装置、计算机设备和存储介质
CN113977637A (zh) 可用于非精度料箱的机器人视觉识别抓件系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant