CN108858202A - 基于“对准-趋近-抓取”的零件抓取装置的控制方法 - Google Patents

基于“对准-趋近-抓取”的零件抓取装置的控制方法 Download PDF

Info

Publication number
CN108858202A
CN108858202A CN201810932653.1A CN201810932653A CN108858202A CN 108858202 A CN108858202 A CN 108858202A CN 201810932653 A CN201810932653 A CN 201810932653A CN 108858202 A CN108858202 A CN 108858202A
Authority
CN
China
Prior art keywords
image
grabbed
end effector
control method
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810932653.1A
Other languages
English (en)
Other versions
CN108858202B (zh
Inventor
徐德
马燕芹
张大朋
刘希龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810932653.1A priority Critical patent/CN108858202B/zh
Publication of CN108858202A publication Critical patent/CN108858202A/zh
Application granted granted Critical
Publication of CN108858202B publication Critical patent/CN108858202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明属于精密装配技术领域,具体提供了一种基于“对准‑趋近‑抓取”的零件抓取装置的控制方法。为了解决现有的零件抓取方法的工作量大、精度低、系统复杂、误差大的问题,本发明的控制方法包括:步骤S100:对准阶段,调整末端执行器的位置使待抓取零件的图像特征与预设的图像特征的偏差小于预设阈值;步骤S200:趋近阶段,按照设定的位置调整量移动末端执行器以使夹持器到达待抓取零件的位置;步骤S300:抓取阶段,控制夹持器抓取待抓取零件。该控制方法的系统算法相对简单,计算量小,操作简单,并且通过减小零件的图像特征与预设图像特征的偏差实现视觉系统与零件的对准,对准精度高,减小了夹持器抓取零件时的误差。

Description

基于“对准-趋近-抓取”的零件抓取装置的控制方法
技术领域
本发明属于精密装配技术领域,具体提供了一种基于“对准-趋近-抓取”的零件抓取装置的控制方法。
背景技术
随着微机电系统的快速发展,对微小型零件装配系统的自动化程度要求越来越高。而零件的自动抓取操作是实现自动化装配的基础,高效、实用的自动抓取技术在缩短装配周期、降低成本等方面具有重要意义。为了走向全面实用化,精密装配系统在效率、精度和适应性等方面的提升成为眼下研究的焦点。具体而言,实用化的精密装配技术需要具有批量化的生产能力。视觉感知与测量系统具有非接触、精度高、信息量大等优点,这使得其成为助力精密装配技术全面实用化最具潜力的传感手段。
目前用于精密装配的抓取操作流程往往比较复杂,并且实用性程度普遍不高。其中常用的抓取方法是先借助视觉系统对零件定位,然后根据零件位置信息控制机器人末端执行器趋近零件并抓取。该抓取方法需要先对视觉系统的内参、外参和畸变参数进行标定,然后通过视觉系统获取待抓取零件的图像,并根据获取的图像的参数进行相应的计算和变换,获取待抓取零件的位置,再控制机器人的末端执行器移动至待抓取零件对待抓取零件进行抓取。不过,视觉系统的内参、外参和畸变参数的标定工作量比较大,并且不同标定方法得出的标定结果的精度不同,标定结果误差对视觉系统的准确性影响较大,根据视觉系统获取的待抓取零件的图像的参数获取待抓取零件的位置的精度较低,并且每次抓取零件的过程中都需要进行大量的位置坐标计算和变换,系统复杂,计算量较大。
相应地,本领域需要一种新的零件抓取方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题,即为了解决现有的零件抓取方法的工作量大、精度低、系统复杂、误差大的问题,本发明提供了一种基于“对准-趋近-抓取”的零件抓取装置的控制方法,所述抓取装置包括机器人、固定于所述机器人的末端执行器上的能够获取待抓取零件的视觉系统和能够对所述待抓取零件执行抓取动作的夹持器,所述控制方法包括:步骤S100:对准阶段,调整所述末端执行器的位置使所述待抓取零件的图像特征与预设的图像特征的偏差小于预设阈值;步骤S200:趋近阶段,按照设定的位置调整量移动所述末端执行器以使所述夹持器到达所述待抓取零件的位置;步骤S300:抓取阶段,控制所述夹持器抓取所述待抓取零件。
在上述控制方法的优选技术方案中,所述夹持器配置有吸附泵,所述待抓取零件为内部中空结构,步骤S300具体包括:所述夹持器借助于所述吸附泵对所述内部中空结构施加的真空吸附力抓取所述待抓取零件。
在上述控制方法的优选技术方案中,步骤S100具体包括:步骤S110:获取所述待抓取零件的图像特征;步骤S120:判断所述待抓取零件的图像特征与所述预设的图像特征的偏差是否小于所述预设阈值,若是则执行步骤S200,若否则执行步骤S130;步骤S130:调整所述末端执行器的位置并返回步骤S110。
在上述控制方法的优选技术方案中,所述图像特征包括图像点特征和图像面积特征,步骤S120具体包括:判断所述待抓取零件的图像点特征与预设的图像点特征的偏差以及待抓取零件的图像面积特征与预设的图像面积特征的偏差是否小于相应的预设阈值。
在上述控制方法的优选技术方案中,在步骤S100中,“调整所述末端执行器的位置”的位置改变量由以下模型确定:
其中,k表示步骤S110执行的次数,K1p和K1i分别为PI控制器的比例和积分系数;Δuk、Δvk分别为所述待抓取零件的图像点特征与所述预设的图像点特征在像素坐标系中沿u轴和v轴方向的偏差,Δuk=ud-uk、Δvk=vd-vk,其中(ud,vd)为预设的图像点特征在像素坐标系中的坐标,(uk,vk)为所述待抓取零件的图像点特征在像素坐标系中的坐标;Δsk为所述待抓取零件在像素坐标系中的图像面积特征与预设的图像面积特征的偏差,Δsk=sd-sk,其中sd为所述待抓取零件在像素坐标系中预设的图像面积特征,sk为所述待抓取零件在像素坐标系中的图像面积特征;ΔXEk,ΔYEk,ZEk分别为所述末端执行器在末端执行器坐标系中沿XE、YE、ZE方向的位置改变量,JhE -1为图像雅可比矩阵的逆矩阵。
在上述控制方法的优选技术方案中,所述图像雅可比矩阵通过以下步骤进行标定:保持所述零件处于所述视觉系统清晰成像视野的前提下使所述末端执行器带动所述视觉系统进行多次相对运动;获取多组所述图像特征的变化量和所述末端执行器的相对位移量并利用最小二乘法解算所述图像雅可比矩阵。
在上述控制方法的优选技术方案中,所述预设的图像特征通过以下步骤获取:使所述夹持器位于能够抓取所述待抓取零件的第一位置;移动所述末端执行器至能够使所述视觉系统获取所述待抓取零件的清晰图像的第二位置;采集所述待抓取零件的期望图像并提取所述期望图像的图像特征为预设的图像特征。
在上述控制方法的优选技术方案中,在步骤S200中,所述设定的位置调整量为从所述第二位置按照预设的路径直接移动至所述第一位置的移动量。
在上述控制方法的优选技术方案中,在对准阶段之前,所述控制方法包括姿态调整步骤,所述姿态调整步骤具体为:使所有的待抓取零件处于相同的姿态,并根据该相同的姿态调整所述末端执行器至抓取姿态。
在上述控制方法的优选技术方案中,在所述对准阶段、所述趋近阶段以及所述抓取阶段,所述末端执行器保持所述抓取姿态不变。
本领域技术人员能够理解的是,在本发明的技术方案中,抓取装置包括机器人、固定于机器人的末端执行器上的视觉系统和夹持器,零件抓取装置的控制方法包括:步骤S100:对准阶段,调整末端执行器的位置使待抓取零件的图像特征与预设的图像特征的偏差小于预设阈值;步骤S200:趋近阶段,按照设定的位置调整量移动所述末端执行器以使所述夹持器到达所述待抓取零件的位置;步骤S300:抓取阶段,控制夹持器抓取待抓取零件。也就是说,在每次抓取待抓取零件的过程中,调整末端执行器的位置使待抓取零件在视觉系统中的图像特征与预设的图像特征的偏差小于预设阈值,然后使末端执行器按照设定的位置调整量移动而使夹持器到达能够抓取零件的位置进而控制夹持器抓取待抓取零件。通过计算零件的图像特征与预设的图像特征的偏差并调整末端执行器的位置使偏差小于预设阈值来实现视觉系统与待抓取零件对准,系统算法相对简单,计算量小,操作简单,并且通过减小待抓取零件的图像特征与预设的图像特征的偏差实现视觉系统与零件的对准,对准精度高,减小了夹持器抓取零件时的误差。
在本发明的优选技术方案中,步骤S100具体包括:步骤S110:获取待抓取零件的图像特征;步骤S120:判断待抓取零件的图像特征与预设的图像特征的偏差是否小于预设阈值,若是则执行步骤S200,若否则执行步骤S130;步骤S130:调整末端执行器的位置并返回步骤S110。通过“判断-调整-判断”的对准操作,能够使待抓取零件在视觉系统中的图像特征与预设的图像特征的偏差小于预设阈值,保证了对准精度,减小了夹持器抓取待抓取零件时的误差。
附图说明
下面参照附图并结合采用六自由度机器人的零件抓取装置的控制方法来描述本发明的原理。附图中:
图1是本发明一种实施例的采用六自由度机器人的零件抓取装置的结构示意图;
图2是本发明一种实施例中待抓取零件的结构示意图;
图3是本发明一种实施例的零件抓取装置的控制方法的主要步骤示意图;
图4是本发明一种实施例的零件抓取装置的控制方法的具体步骤示意图;
图5是本发明一种实施例中待抓取零件的期望图像;
图6是本发明一种实施例中待抓取零件的当前图像;
图7是本发明一种实施例中对准阶段待抓取零件上表面的圆心点在图像平面的运动轨迹;
图8是本发明一种实施例中对准阶段待抓取零件的图像点特征与预设的图像点特征的偏差的变化图;
图9是本发明一种实施例中对准阶段待抓取零件的图像面积特征与预设的图像面积特征的偏差的变化图。
附图标记列表:
1、视觉系统;2、机器人;3、夹持器;4、计算机;5、待抓取零件;6、零件托盘;7、吸附泵;8、软管;9、机器人控制器;10、视觉联接线;11、第一控制线;12、第二控制线;13、末端执行器。
具体实施方式
本领域技术人员应当理解的是,本节实施方式仅仅用于解释本发明的技术原理,并非用于限制本发明的保护范围。例如,虽然本发明是结合采用六自由度机器人的零件抓取装置的控制方法来进行介绍说明的,但是本领域技术人员可以根据需要对其作出调整,以便适应具体的应用场合,如本发明的零件抓取装置的控制方法也可以应用于采用五自由度机器人的零件抓取装置、采用四自由度机器人的零件抓取装置等。
需要说明的是,在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
参照图1和图2,图1是本发明一种实施例的采用六自由度机器人的零件抓取装置的结构示意图;图2是本发明一种实施例中待抓取零件的结构示意图。如图1所示,零件抓取装置包括视觉系统1、机器人2,夹持器3、计算机4和机器人控制器9,视觉系统1和夹持器3均安装在机器人2的末端执行器13上,机器人控制器9通过第一控制线11连接至计算机4,机器人控制器9通过第二控制线12连接至机器人2,视觉系统1通过视觉联接线10连接至计算机4。夹持器3通过软管8与吸附泵7连接。批量待抓取零件5以统一的姿态竖直放置于零件托盘6中。计算机4用于接收视觉系统1采集到的待抓取零件5的图像并提取该图像的图像特征,并根据设计的控制器对末端执行器13进行运动控制,完成夹持器3抓取待抓取零件5的操作。当吸附泵7开启时,夹持器3依靠真空吸附力抓取待抓取零件5。
其中,视觉系统坐标系的光轴(即ZC轴)、XC轴、YC轴分别与末端执行器坐标系的ZE轴、XE轴、YE轴平行,平行,并且夹持器3的轴线与视觉系统1的光轴(即ZC轴)平行。机器人2为ABB IRB1200-7/0.7型号机器人,机器人2包含六个旋转轴,每个轴都有独立的电机控制,使得机器人2具有3个平移自由度和3个旋转自由度。机器人控制器9为IRC5紧凑型控制器,视觉系统1包括Baumer TXG50相机和M2518-MPV定焦镜头,M2518-MPV定焦镜头的焦距为25mm,视觉系统1的工作距离为150mm,视野为55.6×41.6mm。如图2所示,待抓取零件5的高度为5.75mm,内孔直径为4mm,上段外径和下段外径分别为5.4mm和7mm。需要说明的是,机器人2的型号和结构、机器人控制器9的型号、视觉系统1的型号以及待抓取零件5的结构都是示例性的描述,因此不能理解为对本发明的限制。
在按照本发明的控制方法抓取待抓取零件5之前,需要先获取设定的位置调整量、待抓取零件5的预设的图像特征以及图像雅可比矩阵。
具体而言,通过以下方式获取设定的位置调整量、待抓取零件5的预设的图像特征:手动控制末端执行器13移动至夹持器3能够抓取待抓取零件5的第一位置。然后沿末端执行器13坐标系的ZE和YE轴方向移动末端执行器13至能够使视觉系统1采集到待抓取零件5清晰图像的第二位置。采集待抓取零件5的期望图像并提取期望图像的图像特征,期望图像的图像特征即为待抓取零件5的预设的图像特征。记录末端执行器13在这个过程中在末端执行器坐标系中的位置移动量,该位置移动量的反向移动量即为设定的位置调整量,同时记录末端执行器13在第二位置时的位姿。本领域技术人员可以理解的是,末端执行器13也可以沿末端执行器13坐标系的ZE和XE轴方向移动至第二位置,还可以沿末端执行器13坐标系的ZE、XE、YE轴方向移动至第二位置。
通过以下方式获取图像雅可比矩阵:保持待抓取零件5处于视觉系统1清晰成像视野的前提下,控制末端执行器13带动视觉系统1进行多次相对运动,获取多组待抓取零件5图像特征的变化量和末端执行器13的相对位移量,利用最小二乘方法解算图像雅可比矩阵。
参照图3所示,图3是本发明一种实施例的零件抓取装置的控制方法的主要步骤示意图。如图3所示,本发明的零件抓取装置的控制方法主要包括如下步骤:
S100、对准阶段,调整末端执行器的位置使待抓取零件的图像特征与预设的图像特征的偏差小于预设阈值。
S200、趋近阶段,按照设定的位置调整量移动末端执行器以使夹持器到达待抓取零件的位置。
S300、抓取阶段,控制夹持器抓取待抓取零件。
现有的零件抓取方法的工作量大、精度低、系统复杂、误差大的问题,本发明的零件抓取装置的控制方法主要是通过调整末端执行器13的位置使待抓取零件5在视觉系统1中的图像特征与预设的图像特征的偏差小于预设阈值,实现对待抓取零件5的间接对准,即使视觉系统1与待抓取零件5对准。由于视觉系统1和夹持器3均固定在末端执行器13上,因此,视觉系统1和待抓取零件5对准时末端执行器13的位置与夹持器3和待抓取零件5对准时末端执行器13的位置之间的相对位置关系是固定的,在视觉系统1与待抓取零件5对准之后,使末端执行器13按照设定的位置调整量移动,最后控制夹持器3抓取待抓取零件5。
通过这样的控制方式,在视觉系统1的坐标系中对待抓取零件5的位置进行间接对准,减小了计算误差,提高了对准精度。此外,通过这样的控制方法,零件抓取装置的系统算法较为简单,便于系统设计。
参照图4,图4是本发明一种实施例的零件抓取装置的控制方法的具体步骤示意图。本发明的零件抓取装置的控制方法具体包括以下步骤:S110、获取零件的图像特征;S120、判断零件的图像特征与预设的图像特征的偏差是否小于预设阈值,若是则执行步骤S200,若否则执行步骤S130;步骤130、调整末端执行器的位置并返回步骤S110;S200、趋近阶段,按照设定的位置调整量移动末端执行器;S300、抓取阶段,控制夹持器抓取待抓取零件。
也就是说,先通过视觉系统1获取待抓取零件5当前图像的图像特征,计算出待抓取零件5当前图像的图像特征与预设的图像特征的偏差并将该偏差与预设阈值进行大小判断。当待抓取零件5当前图像的图像特征与预设的图像特征的偏差小于预设阈值时,待抓取零件5与视觉系统1实现了对准,否则待抓取零件5与视觉系统1未实现对准,此时调整末端执行器13的位置,再次获取待抓取零件5当前图像的图像特征,计算出与预设的图像特征的偏差并与预设阈值进行大小判断。不断比较偏差与预设阈值的大小并根据比较结果选择性地调整末端执行器13的位置直至待抓取零件5的图像特征与预设的图像特征的偏差小于预设阈值,实现待抓取零件5与视觉系统1的对准,再将末端执行器13按照设定的位置调整量移动而使夹持器3与待抓取零件5对准,最后使夹持器3在吸附泵7的吸附力的作用下抓取待抓取零件5。
通过不断判断偏差与预设阈值的大小并根据判断结果选择性地进行末端执行器13的位置的调整,使图像特征与预设的图像特征的偏差小于预设阈值,从而实现视觉系统1与待抓取零件5的准确对准。夹持器3借助吸附泵7的吸附力来抓取待抓取零件5,能够在保证可靠抓取待抓取零件5的基础上保证待抓取零件5不受损伤。本领域技术人员可以理解的是,夹持器3也可以通过磁吸附的方式抓取待抓取零件5,还可以通过机械夹持方式抓取待抓取零件5。
优选地,图像特征包括图像点特征和图像面积特征,步骤S120具体包括:判断待抓取零件的图像点特征与预设的图像点特征的偏差以及待抓取零件的图像面积特征与预设的图像面积特征的偏差是否小于相应的预设阈值。由于图像点特征对垂直于视觉系统1光轴方向的平移运动比较灵敏,而图像面积特征对平行于视觉系统1光轴方向的平移运动比较灵敏,将图像特征设置成包括图像点特征和图像面积特征,能够识别待抓取零件5相对于视觉系统1在三维方向上的位置变化,从而使本发明的控制方法能够适用于三维空间内待抓取零件5的抓取。
优选地,在步骤S100中,“调整末端执行器的位置”的位置改变量按照以下公式确定:
其中,k表示步骤S110执行的次数,K1p和K1i分别为PI控制器的比例和积分系数;Δuk、Δvk分别为待抓取零件5的图像点特征与预设的图像点特征在像素坐标系中沿u轴和v轴方向的偏差,Δuk=ud-uk、Δvk=vd-vk,其中(ud,vd)为预设的图像点特征在像素坐标系中的坐标,(uk,vk)为待抓取零件5的图像点特征在像素坐标系中的坐标;Δsk为待抓取零件5在像素坐标系中的图像面积特征与预设的图像面积特征的偏差,Δsk=sd-sk,其中sd为待抓取零件5在像素坐标系中预设的图像面积特征,sk为待抓取零件5在像素坐标系中的图像面积特征;ΔXEk,ΔYEk,ZEk分别为所述末端执行器在末端执行器坐标系中沿XE、YE、ZE方向的位置改变量,JhE -1为图像雅可比矩阵的逆矩阵。
通过该模型根据待抓取零件5的图像点特征、图像面积特征分别与预设的图像点特征、预设的图像面积特征的偏差以及设定的PI控制器计算末端执行器13的位置改变量,逐渐缩小待抓取零件5的图像点特征、图像面积特征分别与预设的图像点特征、预设的图像面积特征的偏差。通过采用基于图像的视觉伺服控制,提高了待抓取零件5与视觉系统1的对准精度。基于图像的视觉伺服控制,相对于传统的基于位置的视觉伺服控制,该控制量为图像特征,控制精度较高。而基于图像的视觉伺服的调整次数和初始的图像特征误差与选择的控制器(本发明实例采用了PI控制器)以及控制器参数的设置(本发明实施例中控制器的比例积分控制参数)有关,控制参数的选择,需要保证控制系统的稳定性,也尽量避免使控制系统出现震荡(震荡是所有控制系统不需要的,会磨损机械装置等),还需要考虑工作效率(即调整次数)。本领域技术人员可以理解的是,可以通过其他合适的模型计算末端执行器13的位置改变量,如纯比例控制模型。
参照图5至图9,图5是本发明一种实施例中待抓取零件的期望图像;图6是本发明一种实施例中待抓取零件的当前图像;图7是本发明一种实施例中对准阶段待抓取零件上表面的圆心点在图像平面的运动轨迹;图8是本发明一种实施例中对准阶段待抓取零件的图像点特征与预设的图像点特征的偏差的变化图;图9是本发明一种实施例中对准阶段待抓取零件的图像面积特征与预设的图像面积特征的偏差的变化图。
如图5至9所示,在本发明的一种实施例中,在进行待抓取零件5的抓取操作之前,先获取设定的位置调整量、待抓取零件5的预设的图像特征以及图像雅可比矩阵。
所有的待抓取零件5以相同的姿态放置在零件托盘6中,手动控制末端执行器13移动至第一位置,并调整末端执行器13的姿态至抓取姿态,即夹持器3刚好能够抓取待抓取零件5时末端执行器13的姿态,然后沿末端执行器坐标系的ZE和YE轴方向移动末端执行器13至能够使视觉系统1采集到待抓取零件5清晰图像的第二位置,此时视觉系统1采集获取待抓取零件5的期望图像如图5所示,同时记录此时末端执行器13在机器人基坐标系中的位姿具体为:
在这个过程中,末端执行器13从第一位置移动到第二位置的位置变化量为P=[0,-60,93.35]Tmm,因此末端执行器13从第二位置移动到第一位置的位置变化量为[0,60,-93.35]Tmm,即设定的位置调整量为[0,60,-93.35]Tmm。
视觉系统1将采集到的待抓取零件5的期望图像的信息传输至计算机4,计算机4根据该期望图像的信息提取期望图像的图像特征,即为待抓取零件5的预设的图像特征。如图5所示,待抓取零件5的期望图像中存在三个同心圆,将该期望图像的三个同心圆的圆心的特征作为待抓取零件5的预设的图像点特征,轮廓圆面积的特征作为预设的图像面积特征,通过下式可以求得待抓取零件5的预设的图像特征:
其中,(ud,vd)为待抓取零件5的预设的图像点特征在像素坐标系中的坐标,sd为待抓取零件5在像素坐标系中的预设的图像面积特征,(udi,vdi)为期望图像中第i个圆的圆心在像素坐标系中的坐标,rd3为期望图像中轮廓圆在像素坐标系中的半径。最终得到预设的图像特征为[ud vd sd]T=[1125pixel,1025pixel,69369.85pixel2]T
本领域技术人员可以理解的是,待抓取零件5也可以是其他形状的零件,如圆柱状、棱柱状等。点特征可以是获取的零件图像上的任一方便识别的点,如可以是棱柱状零件的图像中多边形的一顶点。
当待抓取零件5表面垂直于视觉系统1的光轴时,待抓取零件5实际面积和待抓取零件5的图像面积的关系如下式:
其中,kx和ky是视觉系统1的内参数,即沿在像素坐标系中u轴和v轴的放大因子,Zc3是待抓取零件5在视觉系统1中的深度,S是待抓取零件5的实际面积,s是待抓取零件5在像素坐标系中的图像面积。
对公式求导得到
计算图像特征的变化速度和视觉系统1在笛卡尔空间的运动速度之间的关系如下式:
其中,(x1c3,y1c3)是视觉系统1归一化平面内图像点的坐标,Jh为图像雅可比矩阵,为图像特征的变化速度,为视觉系统1在笛卡尔空间的运动速度。由于x1c3和y1c3都远小于1,因此kxx1c3/Zc3和kyy1c3/Zc3远小于kx/Zc3和ky/Zc3,因此可以忽略kxx1c3/Zc3和kyy1c3/Zc3。当视觉系统1坐标系的坐标轴和末端执行器13坐标系的相应坐标轴平行时,图像特征的变化速度和视觉系统1在末端执行器13坐标系的运动速度之间的关系如下式:
其中,为视觉系统1在末端执行器13坐标系的运动速度。当视觉系统1在对准深度处沿光轴方向改变很小时,Zc3可以认为是常数,进而JhE近似为常数矩阵,因此,得出以下公式:
其中,Δu,Δv分别为待抓取零件5的图像点特征在像素坐标系中沿u轴、v轴方向的坐标变化量,Δs为待抓取零件5的图像面积特征在像素坐标系中的面积变化量,ΔXE、ΔYE、ΔZE分别为末端执行器13在末端执行器坐标系中沿XE、YE、ZE轴向的坐标变化量。
通过末端执行器13的n次主动运动,利用最小二乘方法解算出图像雅可比矩阵JhE,具体如下:
在一种具体的实施例中,PI控制器的参数分别设置为K1i=0.4和K1p=0.15,预设阈值分别设置为1pixel和25pixel2。在机器人2的作用下,末端执行器13移动至能够使视觉系统1获取待抓取零件5的清晰图像的位置,此时视觉系统1获取待抓取零件5的当前图像并将当前图像信息传输至计算机4,计算机4对待抓取零件5的当前图像信息进行分析后获取当前图像的图像特征,计算当前图像的图像特征与预设图像特征的偏差,判断该偏差与预设阈值的大小。当偏差不小于预设阈值时,即|Δuk|≥1、|Δvk|≥1、|Δsk|≥25中至少一个成立时,控制末端执行器13按照下式计算的位置改变量移动:
移动末端执行器13之后视觉系统1再次获取待抓取零件5的当前图像并将当前图像信息传输至计算机4,计算机4获取当前图像的图像特征并计算当前图像的图像特征与预设图像特征的偏差,判断新的偏差与预设阈值的大小。若偏差不小于预设阈值时,继续根据最新偏差值计算相应的位置改变量并按照该位置改变量移动末端执行器13。通过这样不断的大小判断和末端执行器13的位置调整,使待抓取零件5在视觉系统1中的图像特征与预设图像特征的偏差逐渐缩小到预设的范围内,从而实现视觉系统1的对准。如图5至图7所示,待抓取零件5在视觉系统1中圆心点的图像一步步向期望图像中的圆心点靠近,在视觉系统1坐标系中待抓取零件5图像的圆心点的坐标与期望图像的圆心点的坐标的偏差Δu和Δv逐渐变小,同时,图像面积特征与预设图像面积特征的偏差Δs逐渐减小。末端执行器13经过12次的位置调整便实现了视觉系统1与待抓取零件5的对准,对准速度较快。
在视觉系统1与待抓取零件5对准之后,机器人控制器9控制末端执行器13按照设定的位置调整量[0,60,-93.35]T移动使夹持器3到达能够抓取待抓取零件5的位置,机器人控制器9控制吸附泵7动作使夹持器3通过吸附力抓取待抓取零件5。接下来,机器人2带动末端执行器13移动至能够获取下一个待抓取零件5的清晰图像的位置,通过对准阶段、趋近阶段和抓取阶段实现对下一个待抓取零件5的抓取。在对准阶段、趋近阶段和抓取阶段,末端执行器13移动过程中始终保持抓取姿态不变。通过使末端执行器13在移动过程中始终保持抓取姿态不变,在对批量的待抓取零件5抓取操作过程中,无需调整末端执行器13的姿态,简化了操作。本发明的发明人按照本发明的控制方法进行了25次抓取实验,实验成功24次,验证了本发明所提供的控制方法的有效性。
本领域技术人员可以理解的是,K1i=0.4、K1p=0.15、预设阈值分别设置为1pixel和25pixel2等示例性的描述,本领域技术人员可以根据需要对其进行调整,如K1i=0.35或者K1i=0.45等,K1p=0.14或者K1p=0.16等,预设阈值分别设置为2pixel和16pixel2、2pixel和9pixel2等。此外,在待抓取零件5的整个抓取过程中,末端执行器13的姿态也可以发生改变,只需要在夹持器3以抓取姿态趋近待抓取零件5之前根据记录的抓取姿态的参数,使末端执行器13的姿态调整至抓取姿态即可。
通过以上描述可以看出,在本发明的优选技术方案中,本发明的零件抓取装置的控制方法主要包括以下步骤:获取待抓取零件的图像特征;判断待抓取零件的图像特征与预设的图像特征的偏差是否小于预设阈值,若偏差不小于预设阈值,调整末端执行器的位置,调整末端执行器的位置之后继续获取待抓取零件的图像特征并判断当前图像的图像特征与预设的图像特征的偏差,若偏差不小于预设阈值则继续调整末端执行器的位置,直至待抓取零件的图像特征与预设的图像特征的偏差小于预设阈值,接下来控制末端执行器按照设定的位置调整量移动,最后控制夹持器抓取待抓取零件。通过计算待抓取零件的图像特征与预设的图像特征的偏差并调整末端执行器的位置使偏差小于预设阈值来实现视觉系统与待抓取零件对准,系统算法相对简单,计算量小,操作简单,并且通过减小零件的图像特征与预设的图像特征的偏差实现视觉系统与待抓取零件的对准,对准精度高,减小了夹持器抓取待抓取零件时的误差。
以上实施例仅表达了本发明的实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于“对准-趋近-抓取”的零件抓取装置的控制方法,其特征在于,所述抓取装置包括机器人、固定于所述机器人的末端执行器上的能够获取待抓取零件的视觉系统和能够对所述待抓取零件执行抓取动作的夹持器,所述控制方法包括:
步骤S100:对准阶段,调整所述末端执行器的位置使所述待抓取零件的图像特征与预设的图像特征的偏差小于预设阈值;
步骤S200:趋近阶段,按照设定的位置调整量移动所述末端执行器以使所述夹持器到达所述待抓取零件的位置;
步骤S300:抓取阶段,控制所述夹持器抓取所述待抓取零件。
2.根据权利要求1所述的控制方法,其特征在于,所述夹持器配置有吸附泵,所述待抓取零件为内部中空结构,步骤S300具体包括:
所述夹持器借助于所述吸附泵对所述内部中空结构施加的真空吸附力抓取所述待抓取零件。
3.根据权利要求1所述的控制方法,其特征在于,步骤S100具体包括:
步骤S110:获取所述待抓取零件的图像特征;
步骤S120:判断所述待抓取零件的图像特征与所述预设的图像特征的偏差是否小于所述预设阈值,若是则执行步骤S200,若否则执行步骤S130;
步骤S130:调整所述末端执行器的位置并返回步骤S110。
4.根据权利要求3所述的控制方法,其特征在于,所述图像特征包括图像点特征和图像面积特征,步骤S120具体包括:
判断所述待抓取零件的图像点特征与预设的图像点特征的偏差以及待抓取零件的图像面积特征与预设的图像面积特征的偏差是否小于相应的预设阈值。
5.根据权利要求4所述的控制方法,其特征在于,在步骤S100中,“调整所述末端执行器的位置”的位置改变量由以下模型确定:
其中,k表示步骤S110执行的次数,K1p和K1i分别为PI控制器的比例和积分系数;Δuk、Δvk分别为所述待抓取零件的图像点特征与所述预设的图像点特征在像素坐标系中沿u轴和v轴方向的偏差,Δuk=ud-uk、Δvk=vd-vk,其中(ud,vd)为预设的图像点特征在像素坐标系中的坐标,(uk,vk)为所述待抓取零件的图像点特征在像素坐标系中的坐标;Δsk为所述待抓取零件在像素坐标系中的图像面积特征与预设的图像面积特征的偏差,Δsk=sd-sk,其中sd为所述待抓取零件在像素坐标系中预设的图像面积特征,sk为所述待抓取零件在像素坐标系中的图像面积特征;ΔXEk,ΔYEk,ZEk分别为所述末端执行器的位置改变量在末端执行器坐标系中沿XE、YE、ZE方向的坐标变化量,JhE -1为图像雅可比矩阵的逆矩阵。
6.根据权利要求5所述的控制方法,其特征在于,所述图像雅可比矩阵通过以下步骤进行标定:
保持所述零件处于所述视觉系统清晰成像视野的前提下使所述末端执行器带动所述视觉系统进行多次相对运动;
获取多组所述图像特征的变化量和所述末端执行器的相对位移量并利用最小二乘法解算所述图像雅可比矩阵。
7.根据权利要求1至6中任一项所述的控制方法,其特征在于,所述预设的图像特征通过以下步骤获取:
使所述夹持器位于能够抓取所述待抓取零件的第一位置;
移动所述末端执行器至能够使所述视觉系统获取所述待抓取零件的清晰图像的第二位置;
采集所述待抓取零件的期望图像并提取所述期望图像的图像特征为预设的图像特征。
8.根据权利要求7所述的控制方法,其特征在于,在步骤S200中,所述设定的位置调整量为从所述第二位置按照预设的路径直接移动至所述第一位置的移动量。
9.根据权利要求1至6中任一项所述的控制方法,其特征在于,在对准阶段之前,所述控制方法包括姿态调整步骤,所述姿态调整步骤具体为:使所有的待抓取零件处于相同的姿态,并根据该相同的姿态调整所述末端执行器至抓取姿态。
10.根据权利要求9所述的控制方法,其特征在于,在所述对准阶段、所述趋近阶段以及所述抓取阶段,所述末端执行器保持所述抓取姿态不变。
CN201810932653.1A 2018-08-16 2018-08-16 基于“对准-趋近-抓取”的零件抓取装置的控制方法 Active CN108858202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810932653.1A CN108858202B (zh) 2018-08-16 2018-08-16 基于“对准-趋近-抓取”的零件抓取装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810932653.1A CN108858202B (zh) 2018-08-16 2018-08-16 基于“对准-趋近-抓取”的零件抓取装置的控制方法

Publications (2)

Publication Number Publication Date
CN108858202A true CN108858202A (zh) 2018-11-23
CN108858202B CN108858202B (zh) 2020-11-10

Family

ID=64318710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810932653.1A Active CN108858202B (zh) 2018-08-16 2018-08-16 基于“对准-趋近-抓取”的零件抓取装置的控制方法

Country Status (1)

Country Link
CN (1) CN108858202B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109877304A (zh) * 2019-04-04 2019-06-14 江苏永瀚特种合金技术有限公司 一种真空浇注定位系统及方法
CN110207952A (zh) * 2019-05-21 2019-09-06 东南大学 一种用于近目式设备显示屏检测的对准系统和对准方法
CN110202581A (zh) * 2019-06-28 2019-09-06 南京博蓝奇智能科技有限公司 机器人末端执行器工作误差的补偿方法、装置及电子设备
CN111453411A (zh) * 2020-04-17 2020-07-28 华兴源创(成都)科技有限公司 液晶显示模组传输对位方法及系统
CN113172632A (zh) * 2021-05-12 2021-07-27 成都瑞特数字科技有限责任公司 一种基于图像的简化机器人视觉伺服控制方法
CN113291905A (zh) * 2020-05-14 2021-08-24 阿里巴巴集团控股有限公司 抓取设备及抓取方法
CN114347040A (zh) * 2022-02-18 2022-04-15 创新奇智(合肥)科技有限公司 目标物的拾取方法、装置、机器人以及存储介质
CN115026840A (zh) * 2022-08-10 2022-09-09 艾斯特国际安全技术(深圳)有限公司 自动校准方法、机械手及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003211382A (ja) * 2002-01-16 2003-07-29 Denso Wave Inc ロボット制御装置
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
WO2016119829A1 (en) * 2015-01-28 2016-08-04 Abb Schweiz Ag Multiple arm robot system and method for operating a multiple arm robot system
CN106003021A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 机器人、机器人控制装置以及机器人系统
CN106485746A (zh) * 2016-10-17 2017-03-08 广东技术师范学院 基于图像无标定的视觉伺服机械手及其控制方法
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107234625A (zh) * 2017-07-07 2017-10-10 中国科学院自动化研究所 视觉伺服定位和抓取的方法
US20170368687A1 (en) * 2016-06-22 2017-12-28 Quanta Storage Inc. Method for teaching a robotic arm to pick or place an object
CN107756398A (zh) * 2017-09-30 2018-03-06 深圳市功夫机器人有限公司 机器人视觉引导方法、装置及设备
JP2018051634A (ja) * 2016-09-26 2018-04-05 セイコーエプソン株式会社 ロボット制御装置、ロボット、ロボットシステムおよび姿勢特定装置
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN108972557A (zh) * 2018-08-16 2018-12-11 中国科学院自动化研究所 微零件位姿自动对准装置及其方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003211382A (ja) * 2002-01-16 2003-07-29 Denso Wave Inc ロボット制御装置
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
WO2016119829A1 (en) * 2015-01-28 2016-08-04 Abb Schweiz Ag Multiple arm robot system and method for operating a multiple arm robot system
CN106003021A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 机器人、机器人控制装置以及机器人系统
CN106607874A (zh) * 2015-10-26 2017-05-03 广明光电股份有限公司 机器手臂撷取影像的装置及方法
US20170368687A1 (en) * 2016-06-22 2017-12-28 Quanta Storage Inc. Method for teaching a robotic arm to pick or place an object
JP2018051634A (ja) * 2016-09-26 2018-04-05 セイコーエプソン株式会社 ロボット制御装置、ロボット、ロボットシステムおよび姿勢特定装置
CN106485746A (zh) * 2016-10-17 2017-03-08 广东技术师范学院 基于图像无标定的视觉伺服机械手及其控制方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107234625A (zh) * 2017-07-07 2017-10-10 中国科学院自动化研究所 视觉伺服定位和抓取的方法
CN107756398A (zh) * 2017-09-30 2018-03-06 深圳市功夫机器人有限公司 机器人视觉引导方法、装置及设备
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN108972557A (zh) * 2018-08-16 2018-12-11 中国科学院自动化研究所 微零件位姿自动对准装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐德: "《显微视觉测量与控制》", 31 December 2014 *
徐德: "《机器人视觉测量与控制》", 31 January 2016 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109877304A (zh) * 2019-04-04 2019-06-14 江苏永瀚特种合金技术有限公司 一种真空浇注定位系统及方法
CN110207952A (zh) * 2019-05-21 2019-09-06 东南大学 一种用于近目式设备显示屏检测的对准系统和对准方法
CN110202581A (zh) * 2019-06-28 2019-09-06 南京博蓝奇智能科技有限公司 机器人末端执行器工作误差的补偿方法、装置及电子设备
CN111453411A (zh) * 2020-04-17 2020-07-28 华兴源创(成都)科技有限公司 液晶显示模组传输对位方法及系统
CN113291905A (zh) * 2020-05-14 2021-08-24 阿里巴巴集团控股有限公司 抓取设备及抓取方法
CN113291905B (zh) * 2020-05-14 2023-08-29 阿里巴巴集团控股有限公司 抓取设备、处理设备、抓取方法、使用方法、控制装置
CN113172632A (zh) * 2021-05-12 2021-07-27 成都瑞特数字科技有限责任公司 一种基于图像的简化机器人视觉伺服控制方法
CN114347040A (zh) * 2022-02-18 2022-04-15 创新奇智(合肥)科技有限公司 目标物的拾取方法、装置、机器人以及存储介质
CN114347040B (zh) * 2022-02-18 2024-06-11 创新奇智(合肥)科技有限公司 目标物的拾取方法、装置、机器人以及存储介质
CN115026840A (zh) * 2022-08-10 2022-09-09 艾斯特国际安全技术(深圳)有限公司 自动校准方法、机械手及计算机可读存储介质
CN115026840B (zh) * 2022-08-10 2022-12-16 艾斯特国际安全技术(深圳)有限公司 自动校准方法、机械手及计算机可读存储介质

Also Published As

Publication number Publication date
CN108858202B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN108858202B (zh) 基于“对准-趋近-抓取”的零件抓取装置的控制方法
CN110842928B (zh) 一种复合机器人视觉引导定位方法
CN108972557B (zh) 微零件位姿自动对准装置及其方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN110238849B (zh) 机器人手眼标定方法及装置
WO2020212871A1 (en) Object grasp system and method
JP7529855B2 (ja) 制御装置、ロボット装置、制御方法、およびプログラム
CN107009358A (zh) 一种基于单相机的机器人无序抓取装置及方法
JP2009255191A (ja) ロボットマニピュレータ
CN110936369B (zh) 一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的方法
US11230005B2 (en) Following robot and work robot system
Xing et al. Coordinated insertion control for inclined precision assembly
US20210276196A1 (en) Intelligent Micromanipulation System Based on Machine Vision
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
Wang et al. Automatic microassembly using visual servo control
Xing et al. Precision assembly among multiple thin objects with various fit types
JP2014151377A (ja) ロボット制御方法、ロボット制御装置、ロボットシステム、ロボット及びプログラム
CN116196112B (zh) 一种机械臂运动控制方法及手术机器人
CN112297004A (zh) 对机器人的位置进行控制的机器人装置的控制装置
CN114571458B (zh) 基于动态运动基元的微纳机器人组装轨迹学习方法
CN114012716A (zh) 一种基于视觉定位和力控制的工业机器人轴孔装配方法
Fatikow et al. Microrobot system for automatic nanohandling inside a scanning electron microscope
Bolopion et al. Stable haptic feedback based on a dynamic vision sensor for microrobotics
JP2013184253A (ja) ロボット
Yabugaki et al. Automated stable grasping with two-fingered microhand using micro force sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant