CN114260903A - 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法 - Google Patents

圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法 Download PDF

Info

Publication number
CN114260903A
CN114260903A CN202210086981.0A CN202210086981A CN114260903A CN 114260903 A CN114260903 A CN 114260903A CN 202210086981 A CN202210086981 A CN 202210086981A CN 114260903 A CN114260903 A CN 114260903A
Authority
CN
China
Prior art keywords
capacitor
camera
industrial robot
pcb
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210086981.0A
Other languages
English (en)
Inventor
李福东
李威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xinran Ruishi Intelligent Technology Co ltd
Original Assignee
Wuxi Xinran Ruishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xinran Ruishi Intelligent Technology Co ltd filed Critical Wuxi Xinran Ruishi Intelligent Technology Co ltd
Priority to CN202210086981.0A priority Critical patent/CN114260903A/zh
Publication of CN114260903A publication Critical patent/CN114260903A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

本发明公开了智能制造领域内的一种圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,包括离线示教、离线标定和在线电容插装三个阶段,S1:示教圆盘式多工位抓手当前位姿信息;S2:示教圆盘式多工位抓手当前深度信息;离线标定阶段:S3:分别对1号相机、2号相机进行标定;S4:成功抓取电容后,触发1号相机采集PCB板图像;S5:电容移至针脚拍照处,采集电容针脚图像;S6:检测电容针脚;S7:将像素坐标信息转换到工业机器人基础坐标系下;S8:计算目标插装位姿,并将结果发送给工业机器人;S9:工业机器人按照结果位姿,进行电容器件插装,本发明建立了完整的视觉引导控制工业机器人插装系统,能够实现电容的精密插装。

Description

圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制 方法
技术领域
本发明涉及智能制造技术领域,尤其涉及一种3D视觉精密插装方法。
背景技术
随着我国经济与科技的飞速发展,工业自动化技术已经广泛的应用于工业的生产之中。工业自动化技术能够实现自动加工、持续生产,同时还能提高企业的生产效率与产品质量,渐渐替代了传统的作业模式。而随着工业自动化技术的发展,工业机器人也逐渐出现在人们的视野中,尤其是具备了视觉定位引导功能的工业机器人开始广泛的应用在定位抓取、检测缺陷、搬运、焊接等工业生产中,是工业生产自动化和智能化的重要发展方向[1]
3D机器视觉具有快速性、稳定性、柔性、非接触测量等优点,广泛的应用在工业机器人领域,将视觉优势与工业机器人的灵活姿态调整优势相结合,能够更加柔性、高效、快速的完成工作任务。在器件插装方面,如果采用人工的方法对PCB板进行电容插装,由于器件的精密,导致人工既耗时又费力的才能将电容插入,而且板上电容数量多达30几个,那么完成一块PCB板电容插装,将会耗费非常多的时间,同时,还会存在由于长时间工作,导致插装人员视觉的疲劳,从而影响插装的质量、效率。而采用结合了3D机器视觉的工业机器人进行PCB板电容插装,具有快速、稳定、准确等优点、并且柔性化程度更高,其插装效率、质量远远高于人工插装,实现长时间自动化生产。
[1]程麒,潘丰,袁瑜键.基于3D视觉传感器的龙门架工业机器人手眼标定方法[J].光电工程,2021,48(04):30-38。
发明内容
本发明的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本说明书以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本说明书、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
针对现有技术中人工插装效率较低的问题,提出了本发明,因此,本发明提供了一种圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,针对圆盘式多工位抓手的工业机器人,建立了完整的视觉引导控制工业机器人插装系统,能够实现电容的精密插装。
为解决上述技术问题,本发明提供如下技术方案:一种圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,包括离线示教、离线标定和在线电容插装三个阶段,
离线示教阶段:
S1:控制工业机器人的圆盘式多工位抓手抓取电容并移动至电容针脚拍照处,示教圆盘式多工位抓手当前位姿信息;
S2:控制圆盘式多工位抓手将电容插入PCB待插装处,示教圆盘式多工位抓手当前深度信息;
离线标定阶段:
S3:分别对1号相机、2号相机进行标定,1号相机用于采集PCB板图像,2号相机用于采集电容针脚图像;
在线电容插装阶段:
S4:圆盘式多工位抓手成功抓取电容后,触发1号相机采集PCB板图像,检测电容待插装位置像素坐标信息;
S5:圆盘式多工位抓手引导电容到达之前示教的电容针脚拍照处,采集电容针脚图像,检测电容针脚位置像素坐标信息;
S6:判断圆盘式多工位抓手上所有工位抓手的电容针脚是否全部检测完成,如果没有全部检测完成,需旋转圆盘更换工位抓手,再次执行S5;如果全部检测完成,可执行下一步骤S7;
S7:将像素坐标信息转换到工业机器人基础坐标系下;
S8:计算目标插装位姿,并将结果发送给工业机器人;
S9:工业机器人按照结果位姿,进行电容器件插装。
作为本发明所述圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法的优选技术方案,步骤3)中相机的标定具体方法为:1号相机与2号相机采用的手眼标定都是eye-to-hand即眼在手外;
首先,对用来采集PCB板图像的1号相机进行标定数据的采集,将标定板固定在工业机器人臂末端法兰处,在1号相机的视野范围内,控制工业机器人臂移动从而带动标定板,相机采集标定板图像并记录当前法兰在工业机器人基础坐标系下的位姿信息;
其次,对用来采集电容针脚图像的2号相机进行标定数据的采集,先将之前标定板取下,再将另一标定板固定在工业机器人臂末端法兰处,在2号相机的视野范围内,控制工业机器人臂移动从而带动标定板,2号相机采集标定板图像并记录当前法兰在工业机器人基础坐标系下的位姿信息;
最后,分别提取采集的1号相机、2号相机图像中标定板的特征点信息,分别标定1号相机、2号相机的内外参数信息,再结合对应的工业机器人臂末端法兰在工业机器人基础坐标系下的位姿信息,求解手眼关系即相机坐标系与工业机器人基础坐标系之间相对位姿关系BHC,完成手眼标定。
作为本发明所述圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法的优选技术方案,步骤4)具体为:
工业机器人成功抓取电容后,会先触发1号相机,对PCB板进行拍照,检测待插装位置像素坐标信息,其中,由于电容存在三个针脚,因此PCB板上是三个插装孔作为一个电容的待插装位置,即一个待插装位置包含三个点坐标信息。
作为本发明所述圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法的优选技术方案,步骤5)具体为:
工业机器人引导电容到达之前示教的电容针脚拍照处,配合针脚光源采集电容针脚图像,电容针脚图像采集完成后,检测电容针脚位置像素坐标信息,与PCB待插装位置像素坐标信息一样,一个电容针脚位置也包含三个点坐标信息,同时,每次触发电容拍照,都需要把当前法兰在工业机器人坐标系下对应的位姿信息记录下来。
作为本发明所述圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法的优选技术方案,步骤7)具体为:
像素坐标系与相机坐标系转换关系如下:
Figure BDA0003487294400000041
其中,u、v是像素坐标系下横纵坐标信息;u0、v0是像素坐标系的原点坐标,也是图像坐标系下的中心点处;dx、dy是图像中的像素尺寸;f是相机焦距;fx=f/dx、fy=f/dy分别是x轴、y轴归一化焦距;Xc、Yc、Zc是相机坐标系下对应的坐标信息,其中Zc指相机的光学中心与拍摄物的距离;
1号相机的Zc设定为固定值,已知,2号相机的Zc也已知;
通过上述式子可将测量得到的位置像素坐标信息转换到相机坐标系下,再通过步骤S3标定得到的手眼关系BHC,将相机坐标系下的坐标转换到工业机器人基础坐标系下,最终得到工业机器人基础坐标系下各个电容针脚与PCB板待插装孔的位置坐标信息。
作为本发明所述圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法的优选技术方案,步骤8)具体为:
首先,计算电容针脚和待插装位置处角度、中心点,电容针脚三个坐标构成一个三角形,计算其最长边与水平的夹角作为电容针脚角度,记为Cap_angle;计算三角形中心点坐标作为电容坐标,记为(Cap_center_x,Cap_center_y),同理,将待插装位置处角度、中心点,分别记为PCB_angle、(PCB_center_x,PCB_center_y);
其次,计算插装角度,用PCB_angle减去Cap_angle即为电容针脚与待插装位置处角度偏差,记为Moving_angle,再将角度偏差加到电容拍照时绕Z轴旋转的角度上便是最终的插装角度,同时,要确保每次电容拍照时绕X轴、Y轴的旋转角度与插装时绕X轴、Y轴的旋转角度不变;
接着,计算插装点,记电容中心点与法兰盘中心点距离为L,在不考虑旋转角度的情况下,通过计算电容中心点与待插装位置中心点的偏移,再将偏移加到电容拍照时法兰盘的位姿,记为(Tool_x,Tool_y),得到插装点坐标信息,记为(PlugIn_x,PlugIn_y),将旋转角度记为θ,以PCB待插装位置处中心点(PCB_center_x,PCB_center_y),作为定点,绕其旋转角度θ,并且该定点与法兰盘中心点之间的距离是L,是不变的,结合上述信息,就可以计算出最终准确的插装点坐标(Correct_x,Correct_y),其中,
Figure BDA0003487294400000051
Figure BDA0003487294400000061
Figure BDA0003487294400000062
与现有技术相比,本发明的有益效果在于:
本发明采用3D机器视觉技术对电容器件进行无接触检测,不会损伤电容器件,并与工业机器人相结合,大大提高了电容插装的速度;同时,通过本发明的引导控制方法,既能确保插装速度的快速,又能够实现电容插装的准确,精度误差仅仅在±0.3mm内。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明中圆盘式多工位抓手工业机器人引导控制插装流程图。
图2为本发明中1号相机不同拍照位姿下的标定板图像。
图3为本发明中2号相机不同拍照位姿下的标定板图像。
图4为本发明中特征点信息提取示意图。
图5为本发明中1号相机标定、手眼标定误差结果示意图。
图6为本发明中2号相机标定、手眼标定误差结果示意图。
图7为本发明中PCB板上检测出的电容待插装位置示意图。
图8为本发明中PCB板上电容一个待插装位置示意图。
图9为本发明中电容针脚位置检测示意图。
图10为本发明中最终插装点坐标计算关系示意图。
图11为本发明中电容器件插装示意图。
图12为本发明插装装置照片。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
再其次,本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
本发明实施例应用的插装引导装置如图12所示,包括:
放置在设备架上的待插装电容的PCB板,PCB板可通过夹具夹紧固定,设备架的下方设置1号相机以及与1号相机配合的光源板,1号相机布置在光源板的中心,通过在光源板的中心开孔来实现,设备架的一旁设置针脚光源(本实施例中采用圆形光源),针脚光源的下方设置2号相机,工业机器人也设置在设备架一旁,工业机器人的末端为法兰盘,用以连接圆盘式多工位抓手。
实施例1
如附图1所示,一种圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,包括离线示教、离线标定和在线电容插装三个阶段:
离线示教阶段:
步骤S1:控制工业机器人通过圆盘式多工位抓手抓取电容并移动至针脚光源处即电容针脚拍照处,示教当前位姿信息;
步骤S2:控制工业机器人通过圆盘式多工位抓手将电容插入PCB待插装处,示教当前深度信息;
离线标定阶段:
步骤S3:分别对1号相机、2号相机进行标定;
在线电容插装阶段:
步骤S4:工业机器人成功抓取电容后,触发1号相机采集PCB板图像,检测电容待插装位置像素坐标信息(附图7);
步骤S5:工业机器人引导电容到达之前示教的电容针脚拍照处,采集电容针脚图像,检测电容针脚位置像素坐标信息(附图9);
步骤S6:判断圆盘上所有抓手的电容针脚是否全部检测完成。如果没有全部检测完成,需旋转圆盘更换工位抓手,再次执行步骤S5;如果全部检测完成,可执行下一步骤S7;
步骤S7:将像素坐标信息转换到工业机器人基础坐标系下;
步骤S8:计算目标插装位姿,并将结果发送给工业机器人;
步骤S9:工业机器人按照结果位姿,进行电容器件插装(附图11)。
本实施例中,步骤S3相机标定的具体过程为:
1号相机与2号相机采用的手眼标定都是eye-to-hand即眼在手外。
首先,对1号相机即用来采集PCB板图像的相机进行标定数据的采集。将100*100mm规格的标定板固定在工业机器人臂末端法兰处,在1号相机的视野范围内,控制工业机器人臂移动从而带动标定板,相机采集标定板图像并记录当前法兰在工业机器人基础坐标系下的位姿信息,1号相机标定板图像如图2所示。
其次,对2号相机即用来采集电容针脚图像的相机进行标定数据的采集。先将之前100*100mm规格的标定板取下,再将20*20mm规格的标定板固定在工业机器人臂末端法兰处,在2号相机的视野范围内,控制工业机器人臂移动从而带动标定板,相机采集标定板图像并记录当前法兰在工业机器人基础坐标系下的位姿信息,2号相机标定板图像如图3所示。
最后,分别提取采集的1号相机、2号相机图像中标定板的特征点信息,分别标定1号相机、2号相机的内外参数信息,特征点信息提取如图4所示,下表1、2分别为1号相机、2号相机标定的内参。再结合对应的工业机器人臂末端法兰在工业机器人基础坐标系下的位姿信息,求解手眼关系即相机坐标系与工业机器人基础坐标系之间相对位姿关系BHC,完成手眼标定。下表3、4分别为1号相机、2号相机手眼标定结果BHC
表1 1号相机标定内参表
Figure BDA0003487294400000091
其中,f指相机镜头的焦距,单位为毫米;Kappa指镜头畸变系数;Sx、Sy分别指单个像元的宽、高,单位为微米;Cx、Cy分别指摄像机中心点行、列坐标,单位为像素;Width、Height分别指图像宽、高,单位为像素。
表3 1号相机手眼标定结果表
Figure BDA0003487294400000101
其中,x、y、z是平移关系,单位是毫米;Rz、Rx、Ry是旋转关系,单位是度。
1号、2号相机标定、手眼标定误差结果如图5、6所示。其中,1号相机标定误差是0.031个像素,手眼标定平移部分平均误差0.153mm,最大误差0.429mm,旋转角度部分平均误差0.062°,最大误差0.148°;2号相机标定误差是0.0965个像素,手眼标定平移部分平均误差0.278mm,最大误差0.486mm,旋转角度部分平均误差0.438°,最大误差1.197°。
本实施例中,步骤S4具体为:
工业机器人成功抓取电容后,会先触发1号相机,对PCB板进行拍照,检测待插装位置像素坐标信息,如图7所示。其中,由于电容存在三个针脚,因此PCB板上是三个插装孔作为一个电容的待插装位置,即一个待插装位置包含三个点坐标信息,如图8所示,能够确保电容针脚位置分布与PCB板一个待装位置分布一致,减少待插装位置的误检测。
作为本发明的进一步限定,步骤S5具体为:
工业机器人引导电容到达之前示教的电容针脚拍照处,采集电容针脚图像,这里为了使电容针脚图像成像质量更好,针脚更清晰,提高检测的稳定性,采用了针脚光源。电容针脚图像采集完成后,检测电容针脚位置像素坐标信息,与PCB待插装位置像素坐标信息一样,一个电容针脚位置也包含三个点坐标信息,如图8所示。同时,每次触发电容拍照,都需要把当前法兰在工业机器人坐标系下对应的位姿信息记录下来,为了之后计算目标插装位姿。
作为本发明的进一步限定,步骤S7具体为:
像素坐标系与相机坐标系转换关系如下:
Figure BDA0003487294400000111
其中,u、v是像素坐标系下横纵坐标信息;u0、v0是像素坐标系的原点坐标,也是图像坐标系下的中心点处;dx、dy是图像中的像素尺寸;f是相机焦距;fx=f/dx、fy=f/dy分别是x轴、y轴归一化焦距;Xc、Yc、Zc是相机坐标系下对应的坐标信息,其中Zc指相机的光学中心与拍摄物的距离。对于1号相机,由于1号相机与PCB板之间位置固定,不会产生变化,因此1号相机的光学中心与PCB板之间距离不变,所以1号相机的Zc设定为固定值,已知。对于2号相机,工业机器人抓取电容到达之前示教的2号相机拍照位置时,相机光学中心与电容针脚的距离为之前设定好的固定值,因此2号相机的Zc也已知。
通过上述式子可将测量得到的位置像素坐标信息转换到相机坐标系下。再通过步骤S3标定得到的手眼关系BHC,将相机坐标系下的坐标转换到工业机器人基础坐标系下,最终得到工业机器人基础坐标系下各个电容针脚与PCB板待插装孔的位置坐标信息,结合步骤S3中的手眼关系能够有效建立起2个相机的像素坐标系与工业机器人基础坐标系关系,实现坐标信息的转换,计算出在工业机器人基础坐标系下的实际坐标信息。
本实施例中,步骤S8具体为:
由于是圆盘式多工位抓手,因此法兰盘中心并没有与抓手中心处于同一垂直于地面的垂线上。这里就需要存在两个问题:第一个问题,工业机器人发送以及接收移动的是法兰盘位姿信息,如果直接发送待插装孔信息给工业机器人,那么工业机器人抓取的电容一定不会插入插装孔内,并且存在很大偏差。第二个问题,圆盘式多工位抓手,当圆盘绕Z轴旋转角度时,虽然法兰盘的中心点没有移动变化,但此时,抓手中心点会随着圆盘旋转而产生偏移,这样也会导致偏差的产生。本发明的计算目标插装位姿方法,能够有效解决这两个问题,并精度达到0.3mm内。
由于插装深度信息在步骤S2已经示教好了,所以接下来对目标插装位姿计算都是基于xy平面进行的。首先,计算电容针脚和待插装位置处角度、中心点。电容针脚三个坐标构成一个三角形,计算其最长边与水平的夹角作为电容针脚角度,记为Cap_angle;计算三角形中心点坐标作为电容坐标,记为(Cap_center_x,Cap_center_y)。同理,将待插装位置处角度、中心点,分别记为PCB_angle、(PCB_center_x,PCB_center_y)。
其次,计算插装角度。用PCB_angle减去Cap_angle即为电容针脚与待插装位置处角度偏差,记为Moving_angle。再将角度偏差加到电容拍照时绕Z轴旋转的角度上便是最终的插装角度。同时,要确保每次电容拍照时绕X轴、Y轴的旋转角度与插装时绕X轴、Y轴的旋转角度不变。
接着,计算插装点。法兰盘中心点与抓手之间有着刚性联系,无论法兰盘怎么变化,其与抓手之间的相对距离位置是不变的,因此电容中心点与法兰盘中心点相对距离也是不变的,将其投影到地面上,记电容中心点与法兰盘中心点距离为L。在不考虑旋转角度的情况下,通过计算电容中心点与待插装位置中心点的偏移,再将偏移加到电容拍照时法兰盘的位姿,记为(Tool_x,Tool_y),得到的便是插装点坐标信息,记为(PlugIn_x,PlugIn_y)。但是,在实际应用时,存在角度的旋转,因此需要在此基础上,需要进行相应计算。将旋转角度记为θ,以PCB待插装位置处中心点(PCB_center_x,PCB_center_y),作为定点,绕其旋转角度θ,并且该定点与法兰盘中心点之间的距离是L,是不变的,结合着这些信息,就可以计算出最终准确的插装点坐标(Correct_x,Correct_y)。其中,
Figure BDA0003487294400000131
Figure BDA0003487294400000132
Figure BDA0003487294400000133
其计算关系示意图如图10所示。
本实施例在实际操作过程中,结合工业机器人在工业生产中的快速性,对于1块PCB板34个待插装位置,仅需5分钟,可实现全部插装,较于之前人工方法20分钟,速度方面有明显提升,并且可做到100%精确插装。
重要的是,应注意,在多个不同示例性实施方案中示出的本申请的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案,但参阅此公开内容的人员应容易理解,在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下,许多改型是可能的(例如,各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如,温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如,示出为整体成形的元件可以由多个部分或元件构成,元件的位置可被倒置或以其它方式改变,并且分立元件的性质或数目或位置可被更改或改变。因此,所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中,任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构,且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下,可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此,本发明不限制于特定的实施方案,而是扩展至仍落在所附的权利要求书的范围内的多种改型。
此外,为了提供示例性实施方案的简练描述,可以不描述实际实施方案的所有特征(即,与当前考虑的执行本发明的最佳模式不相关的那些特征,或于实现本发明不相关的那些特征)。
应理解的是,在任何实际实施方式的开发过程中,如在任何工程或设计项目中,可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的,但对于那些得益于此公开内容的普通技术人员来说,不需要过多实验,所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,其特征在于,包括离线示教、离线标定和在线电容插装三个阶段,
离线示教阶段:
S1:控制工业机器人的圆盘式多工位抓手抓取电容并移动至电容针脚拍照处,示教圆盘式多工位抓手当前位姿信息;
S2:控制圆盘式多工位抓手将电容插入PCB待插装处,示教圆盘式多工位抓手当前深度信息;
离线标定阶段:
S3:分别对1号相机、2号相机进行标定,1号相机用于采集PCB板图像,2号相机用于采集电容针脚图像;
在线电容插装阶段:
S4:圆盘式多工位抓手成功抓取电容后,触发1号相机采集PCB板图像,检测电容待插装位置像素坐标信息;
S5:圆盘式多工位抓手引导电容到达之前示教的电容针脚拍照处,采集电容针脚图像,检测电容针脚位置像素坐标信息;
S6:判断圆盘式多工位抓手上所有工位抓手的电容针脚是否全部检测完成,如果没有全部检测完成,需旋转圆盘更换工位抓手,再次执行S5;如果全部检测完成,可执行下一步骤S7;
S7:将像素坐标信息转换到工业机器人基础坐标系下;
S8:计算目标插装位姿,并将结果发送给工业机器人;
S9:工业机器人按照结果位姿,进行电容器件插装。
2.根据权利要求1所述的圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,其特征在于,步骤3)中相机的标定具体方法为:1号相机与2号相机采用的手眼标定都是eye-to-hand即眼在手外;
首先,对用来采集PCB板图像的1号相机进行标定数据的采集,将标定板固定在工业机器人臂末端法兰处,在1号相机的视野范围内,控制工业机器人臂移动从而带动标定板,相机采集标定板图像并记录当前法兰在工业机器人基础坐标系下的位姿信息;
其次,对用来采集电容针脚图像的2号相机进行标定数据的采集,先将之前标定板取下,再将另一标定板固定在工业机器人臂末端法兰处,在2号相机的视野范围内,控制工业机器人臂移动从而带动标定板,2号相机采集标定板图像并记录当前法兰在工业机器人基础坐标系下的位姿信息;
最后,分别提取采集的1号相机、2号相机图像中标定板的特征点信息,分别标定1号相机、2号相机的内外参数信息,再结合对应的工业机器人臂末端法兰在工业机器人基础坐标系下的位姿信息,求解手眼关系即相机坐标系与工业机器人基础坐标系之间相对位姿关系BHC,完成手眼标定。
3.根据权利要求1或2所述的圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,其特征在于,步骤4)具体为:
工业机器人成功抓取电容后,会先触发1号相机,对PCB板进行拍照,检测待插装位置像素坐标信息,其中,由于电容存在三个针脚,因此PCB板上是三个插装孔作为一个电容的待插装位置,即一个待插装位置包含三个点坐标信息。
4.根据权利要求1或2所述的圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,其特征在于,步骤5)具体为:
工业机器人引导电容到达之前示教的电容针脚拍照处,配合针脚光源采集电容针脚图像,电容针脚图像采集完成后,检测电容针脚位置像素坐标信息,与PCB待插装位置像素坐标信息一样,一个电容针脚位置也包含三个点坐标信息,同时,每次触发电容拍照,都需要把当前法兰在工业机器人坐标系下对应的位姿信息记录下来。
5.根据权利要求1或2所述的圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,其特征在于,步骤7)具体为:
像素坐标系与相机坐标系转换关系如下:
Figure FDA0003487294390000031
其中,u、v是像素坐标系下横纵坐标信息;u0、v0是像素坐标系的原点坐标,也是图像坐标系下的中心点处;dx、dy是图像中的像素尺寸;f是相机焦距;fx=f/dx、fy=f/dy分别是x轴、y轴归一化焦距;Xc、Yc、Zc是相机坐标系下对应的坐标信息,其中Zc指相机的光学中心与拍摄物的距离;
1号相机的Zc设定为固定值,已知,2号相机的Zc也已知;
通过上述式子可将测量得到的位置像素坐标信息转换到相机坐标系下,再通过步骤S3标定得到的手眼关系BHC,将相机坐标系下的坐标转换到工业机器人基础坐标系下,最终得到工业机器人基础坐标系下各个电容针脚与PCB板待插装孔的位置坐标信息。
6.根据权利要求1或2所述的圆盘式多工位抓手的工业机器人3D视觉精密插装引导控制方法,其特征在于,步骤8)具体为:
首先,计算电容针脚和待插装位置处角度、中心点,电容针脚三个坐标构成一个三角形,计算其最长边与水平的夹角作为电容针脚角度,记为Cap_angle;计算三角形中心点坐标作为电容坐标,记为(Cap_center_x,Cap_center_y),同理,将待插装位置处角度、中心点,分别记为PCB_angle、(PCB_center_x,PCB_center_y);
其次,计算插装角度,用PCB_angle减去Cap_angle即为电容针脚与待插装位置处角度偏差,记为Moving_angle,再将角度偏差加到电容拍照时绕Z轴旋转的角度上便是最终的插装角度,同时,要确保每次电容拍照时绕X轴、Y轴的旋转角度与插装时绕X轴、Y轴的旋转角度不变;
接着,计算插装点,记电容中心点与法兰盘中心点距离为L,在不考虑旋转角度的情况下,通过计算电容中心点与待插装位置中心点的偏移,再将偏移加到电容拍照时法兰盘的位姿,记为(Tool_x,Tool_y),得到插装点坐标信息,记为(PlugIn_x,PlugIn_y),将旋转角度记为θ,以PCB待插装位置处中心点(PCB_center_x,PCB_center_y),作为定点,绕其旋转角度θ,并且该定点与法兰盘中心点之间的距离是L,是不变的,结合上述信息,就可以计算出最终准确的插装点坐标(Correct_x,Correct_y),其中,
Figure FDA0003487294390000041
Figure FDA0003487294390000042
Figure FDA0003487294390000043
CN202210086981.0A 2022-01-25 2022-01-25 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法 Pending CN114260903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210086981.0A CN114260903A (zh) 2022-01-25 2022-01-25 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210086981.0A CN114260903A (zh) 2022-01-25 2022-01-25 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法

Publications (1)

Publication Number Publication Date
CN114260903A true CN114260903A (zh) 2022-04-01

Family

ID=80833304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210086981.0A Pending CN114260903A (zh) 2022-01-25 2022-01-25 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法

Country Status (1)

Country Link
CN (1) CN114260903A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114918637A (zh) * 2022-05-30 2022-08-19 中国电子科技集团公司第十四研究所 一种轴孔装配机器人的视觉定位方法
CN115070779A (zh) * 2022-08-22 2022-09-20 菲特(天津)检测技术有限公司 机器人抓取控制方法、系统及电子设备
TWI832749B (zh) * 2023-04-17 2024-02-11 台達電子工業股份有限公司 插件深度的學習方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114918637A (zh) * 2022-05-30 2022-08-19 中国电子科技集团公司第十四研究所 一种轴孔装配机器人的视觉定位方法
CN115070779A (zh) * 2022-08-22 2022-09-20 菲特(天津)检测技术有限公司 机器人抓取控制方法、系统及电子设备
CN115070779B (zh) * 2022-08-22 2023-03-24 菲特(天津)检测技术有限公司 机器人抓取控制方法、系统及电子设备
TWI832749B (zh) * 2023-04-17 2024-02-11 台達電子工業股份有限公司 插件深度的學習方法

Similar Documents

Publication Publication Date Title
CN114260903A (zh) 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
JP2009269110A (ja) 組立装置
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN106182004A (zh) 基于视觉引导的工业机器人自动销孔装配的方法
CN110238845A (zh) 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN111386024B (zh) 一种双引脚电子元器件的引脚自适应定位插入方法及系统
CN111145272A (zh) 一种机械手与相机手眼标定装置和方法
CN114088738B (zh) 一种环状焊缝的高精度缺陷检测方法和装置
CN113689509A (zh) 基于双目视觉的无序抓取方法、系统及存储介质
CN111640154A (zh) 一种基于显微视觉的立针微平面亚像素级定位方法
CN114289332A (zh) 工件分拣的视觉识别与定位方法、装置及分拣系统
CN112658643A (zh) 接插件装配方法
CN112001967A (zh) 相机指导机械手搬运物体的方法和装置
CN111267094A (zh) 一种基于双目视觉的工件定位与抓取方法
CN114055501A (zh) 一种机器人抓取系统及其控制方法
CN206645534U (zh) 一种基于双相机的机器人无序抓取装置
CN113021391A (zh) 一种集成视觉机器人夹爪及其使用方法
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
CN112129809A (zh) 一种基于视觉引导的铜片热阻率检测装置及其检测方法
JP5434609B2 (ja) コネクタ自動挿抜装置
CN116038703A (zh) 一种光伏电池串的机器人抓取位姿获取方法及系统
CN211699034U (zh) 一种机械手与相机的手眼标定装置
CN212749627U (zh) 视觉引导取放料装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination