CN110125926A - 自动化的工件取放方法及系统 - Google Patents

自动化的工件取放方法及系统 Download PDF

Info

Publication number
CN110125926A
CN110125926A CN201810130640.2A CN201810130640A CN110125926A CN 110125926 A CN110125926 A CN 110125926A CN 201810130640 A CN201810130640 A CN 201810130640A CN 110125926 A CN110125926 A CN 110125926A
Authority
CN
China
Prior art keywords
workpiece
coordinate
mark
manipulator
world coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810130640.2A
Other languages
English (en)
Other versions
CN110125926B (zh
Inventor
冯太平
李征昊
赵永明
黄子杰
胡三彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201810130640.2A priority Critical patent/CN110125926B/zh
Publication of CN110125926A publication Critical patent/CN110125926A/zh
Application granted granted Critical
Publication of CN110125926B publication Critical patent/CN110125926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40002Camera, robot follows direction movement of operator head, helmet, headstick

Abstract

本公开涉及一种自动化的工件取放方法及系统,用于解决视觉成像定位贴放位可能导致贴放偏差的技术问题。所述系统包括机械手、挂载在所述机械手上的移动相机、以及固定相机,所述方法包括:机械手取工件,并将工件移动至固定相机上方的拍照位;固定相机对拍照位进行图像采集,以获取工件的工件工具坐标;机械手移动至待贴放工件的产品上方,通过移动相机对产品上设置的两个标记点进行图像采集,以获得两个标记点的世界坐标;根据两个标记点的世界坐标,及产品上的工件贴放位与两个标记点之间的位置关系,确定工件贴放位的坐标;根据工件工具坐标及工件贴放位的坐标,控制机械手携带工件移动至工件贴放位进行工件的贴放。

Description

自动化的工件取放方法及系统
技术领域
本公开涉及机械贴片技术,具体地,涉及一种自动化的工件取放方法及系统。
背景技术
随着科学技术的不断发展,机械化和自动化的产品加工方式被广泛应用在电子设备的生产作业中,例如手机、电脑、相机等等电子设备的生产作业。目前,在实施电子设备生产的工件贴放作业中,通常采用机器人视觉定位并进行工件取放的方式。工件取放的具体过程为:机器人取料后,对工件以及产品上的工件贴放位进行视觉成像定位,然后机器人基于视觉成像定位的结果进行取放操作。
然而,直接对贴放位进行成像定位受到多种因素制约,比如尺寸公差、边缘毛刺、色差、阴影、对比度、洁净度等因素都会干扰成像效果,影响定位精度,进而可能导致贴放出现偏差。
发明内容
本公开的目的是提供一种自动化的工件取放方法及系统,用于解决视觉成像定位贴放位可能导致贴放偏差的技术问题。
根据本公开实施例的第一方面,提供一种自动化的工件取放方法,应用于工件取放系统,所述工件取放系统包括机械手、挂载在所述机械手上的移动相机、以及固定相机,所述方法包括:
所述机械手取工件,并将所述工件移动至所述固定相机上方的拍照位;
所述固定相机对所述拍照位进行图像采集,以获取所述工件的工件工具坐标;
所述机械手移动至待贴放工件的产品上方,通过所述移动相机对所述产品上设置的两个标记点进行图像采集,以获得所述两个标记点的世界坐标;
根据所述两个标记点的世界坐标,及所述产品上的工件贴放位与所述两个标记点之间的位置关系,确定所述工件贴放位的坐标;
根据所述工件工具坐标及所述工件贴放位的坐标,控制所述机械手携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述固定相机对所述工件进行图像采集,以获取所述工件的工件工具坐标,包括:
根据所述固定相机采集的图像,获取所述工件的工件世界坐标;
根据所述工件世界坐标及所述机械手的法兰中心世界坐标,确定所述工件的工件工具坐标。
可选的,在将所述工件移动至所述固定相机上方的拍照位之后,还包括:
向所述固定相机发送所述机械手所取工件的工件模板;
所述固定相机对所述拍照位进行图像采集后,根据所述工件模板,输出工件合格标志位,及拍摄的工件与所述工件模板的角度偏差,其中,所述工件合格标志位用于指示拍摄的工件是否与所述工件模板匹配;
根据所述工件世界坐标及所述机械手的法兰中心世界坐标,确定所述工具的工件工具坐标,包括:
在所述工件合格标志位指示拍摄的工件与所述工件模板匹配时,根据所述工件世界坐标、所述机械手的法兰中心世界坐标、及所述角度偏差,确定所述工件的工件工具坐标。
可选的,通过所述移动相机对所述产品上设置的两个标记点进行图像采集,以获得所述两个标记点的世界坐标,包括:
针对每个标记点,根据所述移动相机采集的该标记点的图像,获取该标记点的相机输出坐标;
根据所述相机输出坐标、所述移动相机拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标。
可选的,所述方法还包括:
在所述机械手移动至所述产品上方后,向所述移动相机发送所述两个标记点的模板;
所述移动相机对每一标记点进行图像采集后,根据该标记点的模板,输出该标记点的合格标志位,及拍摄的该标记点与该标记点的模板的角度偏差;
根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标,包括:
在标记点的合格标志位指示每个标记点均与对应的模板匹配时,根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、预设的基准拍照点坐标、及所述角度偏差,确定该标记点的世界坐标。
可选的,在获得所述两个标记点的世界坐标之后,还包括:
根据所述两个标记点的世界坐标,建立实际用户坐标系;
确定所述实际用户坐标系与标准用户坐标系之间的偏移角度;
根据所述两个标记点的世界坐标,及所述产品上的工件贴放位与所述两个标记点之间的位置关系,确定所述工件贴放位的坐标,包括:
根据所述两个标记点的世界坐标、所述产品上的工件贴放位与所述两个标记点之间的位置关系、及所述偏移角度,确定所述工件贴放位的坐标。
根据本公开实施例的第二方面,提供一种自动化的工件取放系统,包括:机械手、固定相机、及挂载在所述机械手上的移动相机;
所述机械手,用于在取工件后,携带所述工件移动至所述固定相机上方的拍照位;
所述固定相机用于针对所述拍照位进行图像采集,并输出所述工件的工件世界坐标;
所述移动相机用于在所述机械手移动至待贴放工件的产品上方时,对所述产品上设置的两个标记点进行图像采集,并输出所述两个标记点的标记点坐标;
所述机械手还用于根据所述工件世界坐标、所述两个标记点的标记点坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述机械手还用于:
根据所述固定相机输出的所述工件的工件世界坐标,及所述机械手的法兰中心世界坐标,确定所述工件的工件工具坐标;
根据所述工件工具坐标、所述两个标记点的标记点坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述机械手还用于在将所述工件移动至所述固定相机上方的拍照位之后,向所述固定相机发送所述机械手所取工件的工件模板;
所述固定相机还用于在对所述拍照位进行图像采集后,根据所述工件模板,输出工件合格标志位,及拍摄的工件与所述工件模板的角度偏差,其中,所述工件合格标志位用于指示拍摄的工件是否与所述工件模板匹配;
所述机械手用于在所述工件合格标志位指示拍摄的工件与所述工件模板匹配时,根据所述工件世界坐标、所述机械手的法兰中心世界坐标、及所述角度偏差,确定所述工件的工件工具坐标。
可选的,所述机械手用于:
针对每个标记点,根据所述移动相机输出的该标记点的标记点坐标、所述移动相机拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标;
根据所述工件世界坐标、所述两个标记点的世界坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述机械手还用于:
在移动至所述产品上方后,向所述移动相机发送所述两个标记点的模板;
所述移动相机还用于对每一标记点进行图像采集后,根据该标记点的模板,输出该标记点的合格标志位,及拍摄的该标记点与该标记点的模板的角度偏差;
所述机械手用于在标记点的合格标志位指示每个标记点均与对应的模板匹配时,根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、预设的基准拍照点坐标、及所述角度偏差,确定该标记点的世界坐标。
可选的,所述机械手还用于:
根据所述两个标记点的标记点坐标,建立实际用户坐标系;
确定所述实际用户坐标系与标准用户坐标系之间的偏移角度;
根据所述两个标记点的标记点坐标、所述产品上的工件贴放位与所述两个标记点之间的位置关系、及所述偏移角度,确定所述工件贴放位的坐标;
基于所述工件贴放位的坐标及所述工件世界坐标,携带所述工件移动至所述工件贴放位进行工件的贴放。
本公开实施例提供的工件取放系统可以包括机械手、挂载在所述机械手上的移动相机、以及固定相机。机械手取工件后,先在固定相机上方对所取的工件进行成像,进而获取工件的工件工具坐标,机械手再移动至产品上方,对预先设置好的两个标记点进行成像,从而得到标记点的世界坐标,根据已知的工件贴放位与两个标记点之间的位置关系,可以得出产品上的工件贴放位的坐标,将工件工具坐标置为工件贴放位的坐标,机械手即可实现将工件移动到工件贴放位进行贴放。本公开实施例中,由于标记点可以是成形或固定在产品上的简单形状,易于相机捕捉,可以有效避免因毛刺和公差导致的贴放偏差,同时,采用相对距离的方式来找工具贴放位,获取的贴放位坐标更加准确,可以满足因色差、对比度不明显等无法准确视觉定位的贴放位的工件贴放,工件贴放的效果较好。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种自动化的工件取放系统的结构示意图;
图2是根据一示例性实施例示出的一种自动化的工件取放方法的流程图;
图3是根据一示例性实施例示出的一种产品标记点和贴放位的示意图;
图4是根据一示例性实施例示出的一种坐标系偏移角度示意图。
附图标记说明
10:机械手 20:固定相机
30:移动相机
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
请参见图1,图1是根据一示例性实施例示出的一种工件取放系统的结构示意图,工件取放系统可以包括机械手10、挂载在机械手10上的移动相机30以及固定相机20。应当理解,工件取放系统还可以包括一个或多个控制器(图中未示意控制器),用来控制工件取放系统中的各个部件协调工作。例如,工件取放系统通过一个总的控制器来控制各个部件动作,那么该控制器可以用来执行下述自动化的工件取放方法中的步骤,然后根据执行的结果控制对应的部件动作;或者,工件取放系统中的每个部件都对应有一个控制器,再由一个总的控制器控制各部件的控制器执行相应的方法步骤,等等,本公开实施例对此不作限定,即,下文中涉及的方法步骤既可由工件取放系统的一个总的控制器来执行,也可由各部件各自的控制器分别执行。
请参见图2,图2是根据一示例性实施例示出的一种自动化的工件取放方法的流程图,该自动化工件取放方法可以应用于图1所示的工件取放系统中,如图2所示,该方法包括以下步骤。
步骤S11:机械手10取工件,并将工件移动至固定相机20上方的拍照位;
步骤S12:固定相机20对拍照位进行图像采集,以获取工件的工件工具坐标;
步骤S13:机械手10移动至待贴放工件的产品上方,通过移动相机30对产品上设置的两个标记点进行图像采集,以获得两个标记点的世界坐标;
步骤S14:根据两个标记点的世界坐标,及产品上的工件贴放位与两个标记点之间的位置关系,确定工件贴放位的坐标;
步骤S15:根据工件工具坐标及工件贴放位的坐标,控制机械手10携带工件移动至工件贴放位进行工件的贴放。
本公开实施例中,工件可以是需要贴放到产品(比如手机壳、电路板等等)上的任意零部件,比如弹片,等等。固定相机20可以固定在与机械手10连接的平台上,该平台还可以用来放置待贴放工件的产品,那么机械手10可以在该平台上进行贴放操作。
固定相机20上方的取景范围内,设置有拍照位,机械手10在取工件后,会携带工件移动到拍照位上,并触发固定相机20采集图像,对采集的图像进行解析,便可以得到工件的工具坐标。以下将对固定相机20拍摄过程及坐标的获取进行说明。
可选的,工件工具坐标的确定可以先根据固定相机20采集的图像,获取工件的工件世界坐标,然后根据工件世界坐标及机械手10的法兰中心世界坐标,确定工件的工件工具坐标。
工件的工具坐标实际是工件的几何中心(该中心系在制作匹配模板时人为建立)与机械手10法兰中心的相对坐标,其计算公式为:工件工具坐标N=工件世界坐标P–法兰中心世界坐标W。其中的法兰中心世界坐标W为机械手10已知的坐标。
固定相机20拍照后,输出的机械坐标即为工件的工件世界坐标,建立工件工具坐标的意义是方便调试、简化人机交互步骤以及易于维护。在不加载工件工具坐标的时候,机械手10夹取装置围绕自身法兰中心进行角度旋转,加载工件工具坐标后,将围绕所加载的工具坐标作为旋转中心,且移动到某一位置时是将工具而不是法兰中心移至目的坐标点,进而实现针对工件的准确移位。
可选的,在机械手10移动到固定相机20上方的拍照位后,可以向固定相机20发送机械手10所取工件的工件模板,那么固定相机20可以基于接收到的工件模板,在视野范围内搜索匹配的工件,根据图像采集的结果,可以输出工件合格标志位(比如0或1,0表示拍摄的工件与模板不匹配,1表示拍摄的工件与模板匹配),及拍摄的工件与工件模板的角度偏差,其中,工件合格标志位用于指示拍摄的工件是否与工件模板匹配。那么在工件合格标志位指示拍摄的工件与工件模板匹配时,工件工具坐标可以根据工件世界坐标、机械手10的法兰中心世界坐标、及角度偏差来确定。
当然,在本公开实施例中,如果固定相机20检测到当前拍照位上的工件与接收到的工件模板不匹配,或者没有在视野范围内检测到工件时,可以直接输出工件合格标志位0,而无需再输出工件世界坐标以及工件与工件模板的角度偏差,那么机械手10可以重新执行取工件和移动到拍照位进行拍照的步骤。
如果固定相机20检测到当前拍照位上的工件与接收到的工件模板匹配时,可以输出工件合格标志位1、拍摄到的工件的工件世界坐标、以及拍摄的工件与工件模板的角度偏差。其中的工件世界坐标为已标定(即将像素坐标与机械坐标相对应,使成像视野内每一个像素坐标转换为机械手10可识别的机械坐标)过的固定相机20所发送的坐标,即为当前视野内已搜索到且与工件模板相匹配的工件的世界坐标P,且当前法兰中心的世界坐标W已知,经运算后可得工件的工具坐标。例如通过以下方式运算得到工件工具坐标:
N.X=O.X-(W.X-P.X)×(cos(W.C))+(W.Y-P.Y)×(sin(W.C))
N.Y=O.Y-(W.Y-P.Y)×(cos(W.C))+(W.X-P.X)×(sin(W.C))
N.Z=0
N.C=0.C-P.C
其中,N.XYZC为工件工具坐标的坐标值(X为X方向的坐标值;Y为Y方向的坐标值;Z为Z方向的坐标值;C为角度);0.XYZC为法兰中心的工具坐标(其值为0);W.XYZC为法兰中西当前世界坐标值;P.XYZC为工件当前世界坐标值(相机输出,P.C即为相机输出的角度偏差)。
应当理解,存在多个工件时,机械手10可以依次携工件移至不同的拍照位将各个工件置于固定相机20视野中,然后固定相机20重复上述过程直至所有工件信息输出完毕。
通过以上方式可以较为准确地得到机械手10所取工件的工件工具坐标,有利于进一步在放置工件时,可以利用工件工具坐标来准确地来放置工件。
在得到工件的工件工具坐标后,机械手10将继续移动到产品的上方,在产品上方同样可以设置用来拍摄产品标记点的拍照位。机械手10到达产品上方的拍照位后,可以通过移动相机30对两个标记点分别进行拍摄,进而获取两个标记点的世界坐标。以下将对移动相机30拍照及获取两个标记点的世界坐标的方式进行说明。
可选的,针对每个标记点而言,可以先根据移动相机30采集的该标记点的图像,获取该标记点的相机输出坐标,然后根据相机输出坐标、移动相机30拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标。
因为相机的局限性,在标定后只能输出在标定位置视野内的机械坐标,固定相机20因视野不变所以输出的坐标值可直接用于机械手10,而移动相机30输出的坐标值则需要经过一些处理。在进行相机标定时记录当前机械手10的位置S,在该位置下相机输出坐标值与世界坐标系相匹配,那么在实际操作时,实际的拍照位可能与标定时的位置S存在偏差,因此需要将相机输出的坐标加上移动相机30实际拍照点与标记时的基准拍照点的坐标差值,计算公式为:M=P+PSN–S,其中M为所需的标记的的世界坐标,P为相机输出坐标,PSN为移动相机30当前拍照点的坐标,S为标定时记录的基准拍照点坐标。
可选的,在机械手10移动至产品上方后,可以向移动相机30发送两个标记点的模板,移动相机30对每一标记点进行图像采集后,根据该标记点的模板,输出该标记点的合格标志位,及拍摄的该标记点与该标记点的模板的角度偏差,那么在标记点的合格标志位指示每个标记点均与对应的模板匹配时,该标记点的世界坐标可以根据相机输出的标记点坐标、移动相机30拍照点的坐标、预设的基准拍照点坐标、及角度偏差来确定。
类似于固定相机20拍摄过程,每个标记点对应有模板,机械手10移动到标记点拍摄的位置后,向移动相机30发送对应标记点的模板,进行触发移动相机30在取景范围内搜索标记点。如果没检测到对应的标记点或者检测到的标记点与模板不匹配,那么可以输出合格标志位0,那么机械手10可以重新执行上述步骤或报错等等。如果检测到标记点,且与模板匹配,那么可以输出合格标志位1、拍摄的标记点坐标、及拍摄的标记点与对应模板的角度偏差。那么可以根据相机输出的标记点坐标、移动相机30拍照点的坐标、预设的基准拍照点坐标、及移动相机30输出的角度偏差,确定该标记点的世界坐标。当然,在确定两个标记点的坐标时,只需分别针对两个标记点进行两次成像即可,实现起来较为方便快捷。
在得到两个标记点的世界坐标后,可以根据产品上的工件贴放位与所述两个标记点之间的位置关系来得到工件贴放位的坐标。每款产品在确定标记点时都会相应有一组体现标记点与贴放位相对距离的偏移量数据△δ,因为同一工序加工原因,在同一片产品上,该数据上下浮动量处于可接受范围内,所以直接采用预设值的方式设定偏移量较为方便,简化人机交互。如图3所示,Mark点即为标记点,各贴放位与Mark点之间的相对距离是产品成形时固定好的,因此通过公式:P(贴放位坐标)=T(Mark点坐标)+△δ(相对距离),即可得到工件贴放位的坐标。
由于实际应用中贴放位的加工公差不固定的现象,本公开实施例还可以采用实时补偿方式,根据实际情况增加补偿量β对位置进行修正,保证贴放准确。那么计算贴放位坐标的公式为:P(贴放位)=T(Mark点)+△δ(相对距离)+β(补偿)。
可选的,在获得两个标记点的世界坐标之后,还可以根据两个标记点的世界坐标,建立实际用户坐标系,并确定实际用户坐标系与标准用户坐标系之间的偏移角度。那么工件贴放位的坐标可以根据两个标记点的世界坐标、产品上的工件贴放位与两个标记点之间的位置关系、及得到的两个坐标系之间的偏移角度来确定。
因为产品无法精确固定,除了横向和纵向还会有角度的偏移,建立用户坐标系的目的是更好的矫正贴料位整体的角度偏差。通过两个标记点坐标确定两点连线与X轴的角度偏差,从而建立一个与原世界坐标系(机械坐标)有一定角度差的用户坐标系,如图4所示(图中为便于显示放大了偏移角度)。
先以原始设计图中的标记点(MARKDIST1、MARKDIST2)建立标准用户坐标系,然后每次拍摄两个标记点(MARK1、MARK2)后,建立一个实际用户坐标系,两者偏角的差值即为便偏移角度。
实际用户坐标系偏角C1计算公式为:
C1=arctan((MARK2.Y-MARK1.Y)/(MARK2.X-MARK1.X))
标准用户坐标系偏角C0计算公式为:
C0=arctan((MARKDIST2.Y-MARKDIST1.Y)/(MARKDIST2.X-MARKDIST1.X))
偏移角度△C:△C=C1–C0
在得到角度偏差后,可以基于角度偏差来建立用户坐标系,那么在放置工件时,是在建立的考虑了偏移角度后的用户坐标系中进行放置,可以使得工件的贴放更加准确。例如,可通过以下方式建立用户坐标系:
MC=MC1-MC2(MC为偏移角度△C,MC1为实际用户坐标系偏角C1,MC2为标准用户坐标系偏角C0。)
WKWD11=TRANS(MARK1.X,MARK1.Y,0,MC)(即,以MARK1为原点建立用户坐标系WKWD11,偏角是MC。)
WKWD12=TRANS(MARK2.X,MARK2.Y,0,MC)(即,以MARK2为原点建立用户坐标系WKWD12,偏角是MC。)
获得工件贴放位的坐标后,可以在建立的用户坐标系(WKWD11或WKWD12)中通过编程将工件工具坐标置为贴放位的坐标即可控制机械手10将工件贴放到工件贴放位上。当然,对于在贴放工件时究竟选择哪个标记点对应的用户坐标系来贴放,本公开实施例不作限定,通常为了提升放置的准确性,可以选择距离工件贴放位较近的标记点的用户坐标系来放置工件。
在贴放工件时,例如可以通过下列语句实现:
WX=PUTLIAO.X+BU.X
WY=PUTLIAO.Y+BU.Y
WZ=PUTLIAO.Z+BU.Z
WC=PUTLIAO.C+BU.C
TIE=POINT(WX,WY,WZ,WC)
MOVE TIE WITH WORK=WKWD11
即,控制机械手10在用户坐标系WKWD11下移动至工件贴放位TIE。其中,PUTLIAO.XYZC表示工件贴放位与MARK1在各方向上的相对位置关系,BU.XYZC为实际应用中根据需要进行的手动补偿(具体的值可根据需要人工调整),TIE为各相对距离结合成的点为坐标。
请继续参见图4,完成放置后,是以工件的工具坐标点与产品的贴放位重合,而不是以机械手的法兰中心为参考,这样使得工件的放置更为准确。
本公开实施例中,机械手10取工件后,先在固定相机20上方对所取的工件进行成像,进而获取工件的工件工具坐标,机械手10再移动至产品上方,对预先设置好的两个标记点进行成像,从而得到标记点的世界坐标,根据已知的工件贴放位与两个标记点之间的位置关系,可以得出产品上的工件贴放位的坐标,将工件工具坐标置为工件贴放位的坐标,机械手10即可实现将工件移动到工件贴放位进行贴放。本公开实施例中,由于标记点可以是成形或固定在产品上的简单形状,易于相机捕捉,可以有效避免因毛刺和公差导致的贴放偏差,同时,采用相对距离的方式来找工具贴放位,获取的贴放位坐标更加准确,可以满足因色差、对比度不明显等无法准确视觉定位的贴放位的工件贴放,工件贴放的效果较好。
请继续参见图1,基于同一发明构思,本公开提供一种工件取放系统,包括机械手10、固定相机20、及挂载在所述机械手10上的移动相机30;
所述机械手10,用于在取工件后,携带所述工件移动至所述固定相机20上方的拍照位;
所述固定相机20用于针对所述拍照位进行图像采集,并输出所述工件的工件世界坐标;
所述移动相机30用于在所述机械手10移动至待贴放工件的产品上方时,对所述产品上设置的两个标记点进行图像采集,并输出所述两个标记点的标记点坐标;
所述机械手10还用于根据所述工件世界坐标、所述两个标记点的标记点坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述机械手10还用于:
根据所述固定相机20输出的所述工件的工件世界坐标,及所述机械手10的法兰中心世界坐标,确定所述工件的工件工具坐标;
根据所述工件工具坐标、所述两个标记点的标记点坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述机械手10还用于在将所述工件移动至所述固定相机20上方的拍照位之后,向所述固定相机20发送所述机械手10所取工件的工件模板;
所述固定相机20还用于在对所述拍照位进行图像采集后,根据所述工件模板,输出工件合格标志位,及拍摄的工件与所述工件模板的角度偏差,其中,所述工件合格标志位用于指示拍摄的工件是否与所述工件模板匹配;
所述机械手10用于在所述工件合格标志位指示拍摄的工件与所述工件模板匹配时,根据所述工件世界坐标、所述机械手10的法兰中心世界坐标、及所述角度偏差,确定所述工件的工件工具坐标。
可选的,所述机械手10用于:
针对每个标记点,根据所述移动相机30输出的该标记点的标记点坐标、所述移动相机30拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标;
根据所述工件世界坐标、所述两个标记点的世界坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
可选的,所述机械手10还用于:
在移动至所述产品上方后,向所述移动相机30发送所述两个标记点的模板;
所述移动相机30还用于对每一标记点进行图像采集后,根据该标记点的模板,输出该标记点的合格标志位,及拍摄的该标记点与该标记点的模板的角度偏差;
所述机械手10用于在标记点的合格标志位指示每个标记点均与对应的模板匹配时,根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、预设的基准拍照点坐标、及所述角度偏差,确定该标记点的世界坐标。
可选的,所述机械手10还用于:
根据所述两个标记点的标记点坐标,建立实际用户坐标系;
确定所述实际用户坐标系与标准用户坐标系之间的偏移角度;
根据所述两个标记点的标记点坐标、所述产品上的工件贴放位与所述两个标记点之间的位置关系、及所述偏移角度,确定所述工件贴放位的坐标;
基于所述工件贴放位的坐标及所述工件世界坐标,携带所述工件移动至所述工件贴放位进行工件的贴放。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (12)

1.一种自动化的工件取放方法,其特征在于,应用于工件取放系统,所述工件取放系统包括机械手、挂载在所述机械手上的移动相机、以及固定相机,所述方法包括:
所述机械手取工件,并将所述工件移动至所述固定相机上方的拍照位;
所述固定相机对所述拍照位进行图像采集,以获取所述工件的工件工具坐标;
所述机械手移动至待贴放工件的产品上方,通过所述移动相机对所述产品上设置的两个标记点进行图像采集,以获得所述两个标记点的世界坐标;
根据所述两个标记点的世界坐标,及所述产品上的工件贴放位与所述两个标记点之间的位置关系,确定所述工件贴放位的坐标;
根据所述工件工具坐标及所述工件贴放位的坐标,控制所述机械手携带所述工件移动至所述工件贴放位进行工件的贴放。
2.根据权利要求1所述的方法,其特征在于,所述固定相机对所述工件进行图像采集,以获取所述工件的工件工具坐标,包括:
根据所述固定相机采集的图像,获取所述工件的工件世界坐标;
根据所述工件世界坐标及所述机械手的法兰中心世界坐标,确定所述工件的工件工具坐标。
3.根据权利要求2所述的方法,其特征在于,在将所述工件移动至所述固定相机上方的拍照位之后,还包括:
向所述固定相机发送所述机械手所取工件的工件模板;
所述固定相机对所述拍照位进行图像采集后,根据所述工件模板,输出工件合格标志位,及拍摄的工件与所述工件模板的角度偏差,其中,所述工件合格标志位用于指示拍摄的工件是否与所述工件模板匹配;
根据所述工件世界坐标及所述机械手的法兰中心世界坐标,确定所述工具的工件工具坐标,包括:
在所述工件合格标志位指示拍摄的工件与所述工件模板匹配时,根据所述工件世界坐标、所述机械手的法兰中心世界坐标、及所述角度偏差,确定所述工件的工件工具坐标。
4.根据权利要求1所述的方法,其特征在于,通过所述移动相机对所述产品上设置的两个标记点进行图像采集,以获得所述两个标记点的世界坐标,包括:
针对每个标记点,根据所述移动相机采集的该标记点的图像,获取该标记点的相机输出坐标;
根据所述相机输出坐标、所述移动相机拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述机械手移动至所述产品上方后,向所述移动相机发送所述两个标记点的模板;
所述移动相机对每一标记点进行图像采集后,根据该标记点的模板,输出该标记点的合格标志位,及拍摄的该标记点与该标记点的模板的角度偏差;
根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标,包括:
在标记点的合格标志位指示每个标记点均与对应的模板匹配时,根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、预设的基准拍照点坐标、及所述角度偏差,确定该标记点的世界坐标。
6.根据权利要求1-5任一所述的方法,其特征在于,在获得所述两个标记点的世界坐标之后,还包括:
根据所述两个标记点的世界坐标,建立实际用户坐标系;
确定所述实际用户坐标系与标准用户坐标系之间的偏移角度;
根据所述两个标记点的世界坐标,及所述产品上的工件贴放位与所述两个标记点之间的位置关系,确定所述工件贴放位的坐标,包括:
根据所述两个标记点的世界坐标、所述产品上的工件贴放位与所述两个标记点之间的位置关系、及所述偏移角度,确定所述工件贴放位的坐标。
7.一种自动化的工件取放系统,其特征在于,所述工件取放系统包括机械手(10)、固定相机(20)、及挂载在所述机械手(10)上的移动相机(30);
所述机械手(10),用于在取工件后,携带所述工件移动至所述固定相机(20)上方的拍照位;
所述固定相机(20)用于针对所述拍照位进行图像采集,并输出所述工件的工件世界坐标;
所述移动相机(30)用于在所述机械手(10)移动至待贴放工件的产品上方时,对所述产品上设置的两个标记点进行图像采集,并输出所述两个标记点的标记点坐标;
所述机械手(10)还用于根据所述工件世界坐标、所述两个标记点的标记点坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
8.根据权利要求7所述的自动化的工件取放系统,其特征在于,所述机械手(10)还用于:
根据所述固定相机(20)输出的所述工件的工件世界坐标,及所述机械手(10)的法兰中心世界坐标,确定所述工件的工件工具坐标;
根据所述工件工具坐标、所述两个标记点的标记点坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
9.根据权利要求8所述的自动化的工件取放系统,其特征在于,所述机械手(10)还用于在将所述工件移动至所述固定相机(20)上方的拍照位之后,向所述固定相机(20)发送所述机械手(10)所取工件的工件模板;
所述固定相机(20)还用于在对所述拍照位进行图像采集后,根据所述工件模板,输出工件合格标志位,及拍摄的工件与所述工件模板的角度偏差,其中,所述工件合格标志位用于指示拍摄的工件是否与所述工件模板匹配;
所述机械手(10)用于在所述工件合格标志位指示拍摄的工件与所述工件模板匹配时,根据所述工件世界坐标、所述机械手(10)的法兰中心世界坐标、及所述角度偏差,确定所述工件的工件工具坐标。
10.根据权利要求7所述的自动化的工件取放系统,其特征在于,所述机械手(10)用于:
针对每个标记点,根据所述移动相机(30)输出的该标记点的标记点坐标、所述移动相机(30)拍照点的坐标、以及预设的基准拍照点坐标,确定该标记点的世界坐标;
根据所述工件世界坐标、所述两个标记点的世界坐标、以及所述产品上的工件贴放位与所述两个标记点之间的位置关系,携带所述工件移动至所述工件贴放位进行工件的贴放。
11.根据权利要求10所述的自动化的工件取放系统,其特征在于,所述机械手(10)还用于:
在移动至所述产品上方后,向所述移动相机(30)发送所述两个标记点的模板;
所述移动相机(30)还用于对每一标记点进行图像采集后,根据该标记点的模板,输出该标记点的合格标志位,及拍摄的该标记点与该标记点的模板的角度偏差;
所述机械手(10)用于在标记点的合格标志位指示每个标记点均与对应的模板匹配时,根据所述相机输出的标记点坐标、所述移动相机拍照点的坐标、预设的基准拍照点坐标、及所述角度偏差,确定该标记点的世界坐标。
12.根据权利要求7-11任一所述的自动化的工件取放系统,其特征在于,所述机械手(10)还用于:
根据所述两个标记点的标记点坐标,建立实际用户坐标系;
确定所述实际用户坐标系与标准用户坐标系之间的偏移角度;
根据所述两个标记点的标记点坐标、所述产品上的工件贴放位与所述两个标记点之间的位置关系、及所述偏移角度,确定所述工件贴放位的坐标;
基于所述工件贴放位的坐标及所述工件世界坐标,携带所述工件移动至所述工件贴放位进行工件的贴放。
CN201810130640.2A 2018-02-08 2018-02-08 自动化的工件取放方法及系统 Active CN110125926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810130640.2A CN110125926B (zh) 2018-02-08 2018-02-08 自动化的工件取放方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810130640.2A CN110125926B (zh) 2018-02-08 2018-02-08 自动化的工件取放方法及系统

Publications (2)

Publication Number Publication Date
CN110125926A true CN110125926A (zh) 2019-08-16
CN110125926B CN110125926B (zh) 2021-03-26

Family

ID=67567795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810130640.2A Active CN110125926B (zh) 2018-02-08 2018-02-08 自动化的工件取放方法及系统

Country Status (1)

Country Link
CN (1) CN110125926B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110788858A (zh) * 2019-10-23 2020-02-14 武汉库柏特科技有限公司 一种基于图像的物体校位方法、智能机器人及校位系统
CN110842919A (zh) * 2019-11-05 2020-02-28 四川长虹智能制造技术有限公司 一种机器人打螺钉的视觉引导方法
CN111015660A (zh) * 2019-12-24 2020-04-17 江苏生益特种材料有限公司 一种ccl叠制生产机器人视觉系统的使用方法
CN111061265A (zh) * 2019-12-06 2020-04-24 常州节卡智能装备有限公司 一种物体搬运方法、装置及系统
CN111376789A (zh) * 2020-03-06 2020-07-07 上海大族富创得科技有限公司 Agv电池充电管理方法、系统和计算机可读存储介质
CN111391691A (zh) * 2020-03-06 2020-07-10 上海大族富创得科技有限公司 基于视觉的标的对准方法、系统和计算机可读存储介质
CN111590550A (zh) * 2020-07-06 2020-08-28 佛山隆深机器人有限公司 一种搬运机械手的物料位置标定方法
CN111815634A (zh) * 2020-09-09 2020-10-23 苏州浪潮智能科技有限公司 基于机器视觉内存对位接插方法与系统、设备、存储介质
CN112403917A (zh) * 2020-09-29 2021-02-26 广东拓斯达科技股份有限公司 放料分装输送线
CN112561999A (zh) * 2020-12-21 2021-03-26 惠州市德赛西威汽车电子股份有限公司 一种贴框设备精准贴合方法及贴框设备
CN112847321A (zh) * 2021-01-04 2021-05-28 扬州市职业大学(扬州市广播电视大学) 基于人工智能的工业机器人视觉图像识别系统
CN112928324A (zh) * 2021-01-29 2021-06-08 蜂巢能源科技有限公司 模组部件装配方法及模组部件装配装置
CN113739709A (zh) * 2021-09-08 2021-12-03 中冶长天国际工程有限责任公司 一种烧结料层厚度的在线检测方法及在线检测系统
CN113997290A (zh) * 2021-11-17 2022-02-01 合肥联宝信息技术有限公司 一种用于机械臂的控制方法及设备
CN114693798A (zh) * 2020-12-31 2022-07-01 北京小米移动软件有限公司 机械手控制方法及装置
CN114872038A (zh) * 2022-04-13 2022-08-09 欣旺达电子股份有限公司 微针扣合视觉自校准系统及其校准方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101336072A (zh) * 2007-06-29 2008-12-31 富葵精密组件(深圳)有限公司 表面贴装对位装置及其对位方法
CN201274636Y (zh) * 2008-07-11 2009-07-15 上海现代科技发展有限公司 图像识别视觉全自动贴片机
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN105323977A (zh) * 2014-08-01 2016-02-10 广州翌贝拓电子科技有限公司 基于机器视觉的贴装坐标获取方法
CN105359640A (zh) * 2013-04-25 2016-02-24 泛泰有限两合公司 安放设备和安放方法
US20160184995A1 (en) * 2014-12-25 2016-06-30 Keyence Corporation Image Processing Apparatus, Image Processing System, Image Processing Method, And Computer Program
CN107263468A (zh) * 2017-05-23 2017-10-20 陕西科技大学 一种利用数字图像处理技术的scara机器人装配方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101336072A (zh) * 2007-06-29 2008-12-31 富葵精密组件(深圳)有限公司 表面贴装对位装置及其对位方法
CN201274636Y (zh) * 2008-07-11 2009-07-15 上海现代科技发展有限公司 图像识别视觉全自动贴片机
CN105359640A (zh) * 2013-04-25 2016-02-24 泛泰有限两合公司 安放设备和安放方法
CN105323977A (zh) * 2014-08-01 2016-02-10 广州翌贝拓电子科技有限公司 基于机器视觉的贴装坐标获取方法
US20160184995A1 (en) * 2014-12-25 2016-06-30 Keyence Corporation Image Processing Apparatus, Image Processing System, Image Processing Method, And Computer Program
CN105729467A (zh) * 2014-12-25 2016-07-06 株式会社其恩斯 图像处理设备、图像处理系统、图像处理方法和计算机程序
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN107263468A (zh) * 2017-05-23 2017-10-20 陕西科技大学 一种利用数字图像处理技术的scara机器人装配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余大伟: "《视觉系统在贴片机贴片头定位与片状元件检测纠偏中的应用研究》", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 *
李秦川: "《基于机器视觉的贴片机元件定位检测技术研究》", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 *
许海丽: "《基于OpenCV的SMT纠偏贴片视觉系统的研究》", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110788858A (zh) * 2019-10-23 2020-02-14 武汉库柏特科技有限公司 一种基于图像的物体校位方法、智能机器人及校位系统
CN110788858B (zh) * 2019-10-23 2023-06-13 武汉库柏特科技有限公司 一种基于图像的物体校位方法、智能机器人及校位系统
CN110842919A (zh) * 2019-11-05 2020-02-28 四川长虹智能制造技术有限公司 一种机器人打螺钉的视觉引导方法
CN111061265A (zh) * 2019-12-06 2020-04-24 常州节卡智能装备有限公司 一种物体搬运方法、装置及系统
CN111015660A (zh) * 2019-12-24 2020-04-17 江苏生益特种材料有限公司 一种ccl叠制生产机器人视觉系统的使用方法
CN111376789A (zh) * 2020-03-06 2020-07-07 上海大族富创得科技有限公司 Agv电池充电管理方法、系统和计算机可读存储介质
CN111391691A (zh) * 2020-03-06 2020-07-10 上海大族富创得科技有限公司 基于视觉的标的对准方法、系统和计算机可读存储介质
CN111590550A (zh) * 2020-07-06 2020-08-28 佛山隆深机器人有限公司 一种搬运机械手的物料位置标定方法
CN111815634A (zh) * 2020-09-09 2020-10-23 苏州浪潮智能科技有限公司 基于机器视觉内存对位接插方法与系统、设备、存储介质
WO2022052404A1 (zh) * 2020-09-09 2022-03-17 苏州浪潮智能科技有限公司 基于机器视觉内存对位接插方法与系统、设备、存储介质
CN112403917A (zh) * 2020-09-29 2021-02-26 广东拓斯达科技股份有限公司 放料分装输送线
CN112561999A (zh) * 2020-12-21 2021-03-26 惠州市德赛西威汽车电子股份有限公司 一种贴框设备精准贴合方法及贴框设备
CN114693798B (zh) * 2020-12-31 2023-12-26 北京小米移动软件有限公司 机械手控制方法及装置
CN114693798A (zh) * 2020-12-31 2022-07-01 北京小米移动软件有限公司 机械手控制方法及装置
CN112847321A (zh) * 2021-01-04 2021-05-28 扬州市职业大学(扬州市广播电视大学) 基于人工智能的工业机器人视觉图像识别系统
CN112928324B (zh) * 2021-01-29 2022-03-25 蜂巢能源科技有限公司 模组部件装配方法及模组部件装配装置
CN112928324A (zh) * 2021-01-29 2021-06-08 蜂巢能源科技有限公司 模组部件装配方法及模组部件装配装置
CN113739709A (zh) * 2021-09-08 2021-12-03 中冶长天国际工程有限责任公司 一种烧结料层厚度的在线检测方法及在线检测系统
CN113997290A (zh) * 2021-11-17 2022-02-01 合肥联宝信息技术有限公司 一种用于机械臂的控制方法及设备
CN114872038A (zh) * 2022-04-13 2022-08-09 欣旺达电子股份有限公司 微针扣合视觉自校准系统及其校准方法
CN114872038B (zh) * 2022-04-13 2023-12-01 欣旺达电子股份有限公司 微针扣合视觉自校准系统及其校准方法

Also Published As

Publication number Publication date
CN110125926B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN110125926A (zh) 自动化的工件取放方法及系统
CN110719696B (zh) Pcb阻焊开窗方法及pcb激光开窗机
CN104005180B (zh) 一种用于缝纫的视觉定位方法及系统
CN106426161A (zh) 在引导装配环境中将机器视觉坐标空间关联在一起的系统和方法
CN106054878A (zh) 基于二维码定位的惯性引导车的导航方法及惯性引导车
CN102328493A (zh) 一种新型丝网印ccd图像识别的定位方法
CN110276799A (zh) 一种坐标标定方法、标定系统及机械臂
CN110022444A (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
CN109926724A (zh) 双ccd定位打标方法、双ccd定位打标系统和存储介质
CN104965489A (zh) 基于机器人的ccd自动对位组装系统及方法
US20190331150A1 (en) Screw fastening apparatus, frame
CN110636923A (zh) 一种机器人的运动控制方法、机器人及控制器
US10875186B2 (en) Robot system
CN104885593A (zh) 元件安装机及元件安装方法
CN106735869B (zh) 用于数控加工设备的激光视觉非接触式定位方法
CN108000499B (zh) 机器人视觉坐标的编程方法
CN114147727B (zh) 一种机器人位姿校正的方法、装置和系统
CN110039520B (zh) 一种基于图像对比的示教、加工系统
CN111993420A (zh) 一种固定式双目视觉3d引导上件系统
JP5418490B2 (ja) 位置決め制御装置およびこれを備えた位置決め装置
CN101082488A (zh) 异地遥测之图像拼接方法
CN105101664B (zh) 部件贴装机的贴装位置数据调整方法及装置
CN110672009B (zh) 基于机器视觉的基准定位、物体姿态调整及图形显示方法
CN109029369B (zh) 飞行拍摄的检测方法
CN115424969A (zh) 一种基于固晶机的实时纠偏方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant