CN109719734A - 一种机器人视觉引导的手机闪光灯组装系统及组装方法 - Google Patents
一种机器人视觉引导的手机闪光灯组装系统及组装方法 Download PDFInfo
- Publication number
- CN109719734A CN109719734A CN201910184435.9A CN201910184435A CN109719734A CN 109719734 A CN109719734 A CN 109719734A CN 201910184435 A CN201910184435 A CN 201910184435A CN 109719734 A CN109719734 A CN 109719734A
- Authority
- CN
- China
- Prior art keywords
- mobile phone
- robot
- flash lamp
- industrial camera
- phone glass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明公开了一种机器人视觉引导的手机闪光灯组装系统及组装方法,所述组装系统包括工作台、第一工业相机、第二工业相机、机器人、视觉系统和控制系统,所述组装方法首先通过确定工业相机和拍照位的位置,并完成对相机坐标系与机器人坐标系的标定,之后通过工业相机采集闪光灯和手机玻璃背板的图像,完成机器人的角度补偿,然后再次通过工业相机采集闪光灯和手机玻璃背板的图像,完成机器人的坐标补偿,最后将闪光灯贴装在手机玻璃背板上完成组装。本发明通过采集闪光灯和手机玻璃背板的图像,完成机器人角度补偿和坐标补偿,改善了吸取和移动闪光灯过程中可能产生的位置或角度变化,提高了组装的精确度,具有适用范围广和灵活性高的特点。
Description
技术领域
本发明涉及到机器人视觉装配技术领域,尤其涉及一种机器人视觉引导的手机闪光灯组装系统及组装方法。
背景技术
中国是一个手机生产大国,据中国信息通信研究院日前发布《2017年12月国内手机市场运行分析报告》显示,2017年国内手机市场出货量4.91亿部,而根据TrendForce最新调查,在中国品牌的带动下,全球智能手机生产总数同比增长6.5%,高达14.6亿台。
目前,随着“中国制造2025”开始从概念走入实际,未来的智能工厂中,有一个关键要素不能缺少,那就是“机器人”。除了传统的汽车装配领域,机器人逐渐进入到3C领域,富士康、和硕等公司都已经出现“黑灯”工厂,即完全由机器人来代替人工进行手机组装加工。手机组装机器人虽然有较高的使用率,但普遍采用的进行点对点的组装的丝杆构造机器人存在精度不高、位置矫正不精确等局限性,难以做到柔性生产。
最近几年,装配机器人不断发展,柔性手腕和柔性手爪的使用大大提高了机器人装配的精度与灵活度,能够完成丝杆不能完成的一些工作。但是,随着装配工艺的复杂性以及装配精度的不断提高,传统的装配机器人由于缺乏感知和自适应控制的能力而无法满足当前电子制造的需求,而机器视觉可以模仿人的视觉功能,完成对客观事物的识别,并能够从图像中提取目标信息进行处理分析并加以理解,从而将结果用于定位、测量等。
鉴于此,如何将机器视觉技术应用到手机装配机器人中,并根据工件的实际位置动态调整装配机器人的执行点,从而实现装配机器人精确定位与智能组装,满足装配需求是本技术领域的重要研究方向。
发明内容
本发明的目的是提供一种机器人视觉引导的手机闪光灯组装系统及组装方法,解决了现有手机组装技术上人工效率低以及自动组装技术精度低、灵活性差等问题。
为解决上述技术问题,本发明提供了一种机器人视觉引导的手机闪光灯组装系统,包括:
工作台,所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机,以及对所述手机玻璃背板进行拍照的第二工业相机,所述第一工业相机上方设有用于辅助成像的第一同轴光源,所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位,所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源;
机器人,用于移动所述闪光灯和所述手机玻璃背板;
视觉系统,包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元,以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元;
控制系统,用于根据所述视觉系统的处理结果控制所述机器人动作,以及控制所述第一工业相机和所述第二工业相机进行图像采集。
优选地,所述机器人为六轴机器人,所述第一同轴光源和所述第二同轴光源均为蓝色同轴光源。
一种机器人视觉引导的手机闪光灯组装方法,包含上述的机器人视觉引导的手机闪光灯组装系统,所述组装方法包括以下步骤:
S1、确定所述闪光灯的拍照位并设为第一拍照位,并选取第一拍照位所在平面上的多个不同位置点,通过所述控制系统控制所述机器人吸附闪光灯依次到达所选取的位置点,获取所述第一工业相机坐标系和机器人坐标系之间的关系;
S2、选取第二拍照位所在平面上的多个不同位置点,然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点,获取第二工业相机坐标系和机器人坐标系之间的关系;
S3、通过所述机器人将闪光灯移动到第一拍照位,同时将手机玻璃背板置于第二拍照位上,所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像;
S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理,获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ2,所述控制系统根据所获取的夹角θ1和夹角θ2进而控制机器人在第一拍照位旋转θ1-θ2的角度;
S5、当所述机器人完成所述步骤S4的角度旋转后,通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板进行图像采集,获取闪光灯两圆孔的中心点坐标(x1,y1)和(x2,y2)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3);
S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系,计算出所述闪光灯中心点在机器人坐标系下的坐标(X1,Y1),并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系,计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)在机器人坐标系下的坐标(X2,Y2);
S7、根据所述步骤S6的计算结果,所述控制系统控制机器人的末端执行器在X轴方向上移动X2-X1的距离,以及在Y轴方向上移动Y2-Y1的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区,完成贴装。
优选地,所述步骤S1的具体实现方式为:
S101、确定所述闪光灯的拍照位并设为第一拍照位,并选取第一拍照位所在平面的不同直线上三个位置点,通过所述控制系统控制机器人吸附所述闪光灯依次到达三个位置点,得到三个位置点的闪光灯中心点像素坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3),以及三个位置点的机器人坐标(Xm1,Ym1)、(Xm2,Ym2)、(Xm3,Ym3);
S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标,即可求出第一工业相机像素坐标系和机器人坐标系之间的关系矩阵,可表示为:
式(1)中,X=[Xm1 Xm2 Xm3],Y=[Ym1 Ym2 Ym3],x=[xc1 xc2 xc3],y=[yc1 yc2 yc3],R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵,r1、r2、r3和r4表示旋转矩阵R中的矩阵元素,t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵,t1和t2表示偏移矩阵t中的矩阵元素。
优选地,所述步骤S2的具体实现方式为:
S201、选取第二拍照位所在平面的不同直线上三个位置点,通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点,获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(xd1,yd1)、(xd2,yd2)、(xd3,yd3),以及三个位置点的机器人坐标(Xn1,Yn1)、(Xn2,Yn2)、(Xn3,Yn3);
S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标,即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵,可表示为:
式(2)中,X*=[Xn1 Xn2 Xn3],Y*=[Yn1 Yn2 Yn3],x*=[xd1 xd2 xd3],y*=[yd1 yd2yd3],R*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵,和表示旋转矩阵R*中的矩阵元素,t*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵,和表示偏移矩阵t*中的矩阵元素。
优选地,所述步骤S4的具体实现方式为:
S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI,并利用双边滤波去除手机玻璃背板图像的噪点,以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差,然后提取手机玻璃背板图像的边缘轮廓,根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘;
S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x4,y4)、(x5,y5)和(x6,y6),计算手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1,其计算公式为:
S403、提取所述步骤S3中采集的闪光灯图像的圆形细环ROI,并采用局部自适应对比度增强方法增大闪光灯图像的前景和背景的灰度差,然后提取所述闪光灯图像的边缘轮廓,并根据所提取的边缘轮廓面积和圆形度筛选出所述闪光灯图像的两圆孔边缘;
S404、拟合所述步骤S403中的两圆孔边缘,得到两圆孔的中心点坐标为(xe1,ye1)和(xe2,ye2),根据两圆孔的中心点获取闪光灯两圆孔中心点连线与水平轴之间的夹角θ2,其公式为:
S405、所述控制系统根据图像处理单元的处理结果控制机器人在第一拍照位处旋转θ1-θ2的角度。
优选地,所述步骤S5的具体实现方式为:
S501、所述控制系统控制第一工业相机和第二工业相机同时采集第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的图像;
S502、框选所述步骤S501采集的手机玻璃背板图像的闪光灯贴装区圆孔ROI,采用最大类间方差法对手机玻璃背板图像进行二值化处理,并提取手机玻璃背板闪光灯贴装区域,其中二值化处理可表示为:
式(5)中,ω1+ω2=1,M×N表示闪光灯贴装区圆孔图像上总像素点个数,N1表示闪光灯贴装区圆孔区域灰度值不大于设定灰度值的像素个数,N2表示闪光灯贴装区圆孔区域灰度值大于设定灰度值的像素个数,ω1表示闪光灯贴装区圆孔区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例,ω2表示闪光灯贴装区圆孔区域以外区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例,μ1表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值,μ2表示闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值,g表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值与闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值之间的方差;
S503、对所述步骤S502中处理后的手机玻璃背板图像进行形态学膨胀处理,去除面积较小干扰区域平滑边缘,并提取手机玻璃背板图像的边缘轮廓,然后根据所提取的边缘轮廓面积和圆形度筛选出手机玻璃背板上闪光灯贴装区圆孔的轮廓;
S504、拟合所述步骤S503筛选的手机玻璃背板闪光灯贴装区圆孔,即可得到手机玻璃背板上闪光灯贴装区圆孔的中心点坐标(x3,y3);
S505、提取所述步骤S5采集的闪光灯图像的圆形细环ROI,并采用局部自适应对比度增强方法增大闪光灯图像的圆形细环ROI的前景和背景的灰度差;
S506、提取所述步骤S505处理后的闪光灯图像的边缘轮廓,并根据所述闪光灯图像上的边缘轮廓面积和圆形度筛选出闪光灯图像上两圆孔边缘;
S507、拟合所述步骤S506中闪光灯图像上的两圆孔边缘,即可获取闪光灯图像上两圆孔的中心点坐标(x1,y1)和(x2,y2)。
与现有技术比较,本发明通过对机器人进行角度补偿和坐标补偿,改善了闪光灯在吸附和移动过程中可能产生的位置或角度变化,大大提高了组装的精确度;同时本发明所采用六轴机器人具有更好的自由度和灵活性,能够做到柔性生产;而且本发明中的工业相机位置固定,避免了拍照过程中因相机震荡而导致的精度误差,因此本发明具有更高的灵活性,且适用范围更广。
附图说明
图1是本发明中一种机器人视觉引导的手机闪光灯组装系统结构示意图,
图2是本发明中一种机器人视觉引导的手机闪光灯组装方法的流程图,
图3是本发明中第一工业相机坐标系与机器人坐标系的标定流程图,
图4是本发明中第二工业相机坐标系与机器人坐标系的标定流程图,
图5是本发明中机器人角度补偿流程图,
图6是本发明中闪光灯中心点坐标和手机玻璃背板贴装区圆孔中心点坐标确定流程图。
图中:1.机器人,2.第一工业相机,3.第二工业相机,4.第一同轴光源,5.第二同轴光源,6.第二拍照位,7.工作台,8.第一拍照位,9.视觉系统,10.控制系统。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图对本发明作进一步的详细说明。
如图1所示,一种机器人视觉引导的手机闪光灯组装系统,包括:
工作台7,所述工作台7上设有用于对所述闪光灯进行拍照的第一工业相机2,以及对所述手机玻璃背板进行拍照的第二工业相机3,所述第一工业相机2上方设有用于辅助成像的第一同轴光源4,所述第二工业相机3上方设有用于放置所述手机玻璃背板的第二拍照位6,所述第二工业相机3和所述第二拍照位6之间设有用于辅助成像的第二同轴光源5;
机器人1,用于移动所述闪光灯和所述手机玻璃背板;
视觉系统9,包括用于实时处理所述第一工业相机2和所述第二工业相机3所采集图像的图像处理单元,以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元;
控制系统10,用于根据所述视觉系统9的处理结果控制所述机器人1动作,以及控制所述第一工业相机2和所述第二工业相机3进行图像采集。
本实施例中,所述机器人1包括相同型号的用于移动闪光灯的第一机器人和用于移动手机玻璃背板的第二机器人,首先利用第一工业相机2采集闪光灯的图像以及第二工业相机3采集手机玻璃背板的图像,然后可以通过视觉系统9实时处理所采集的图像,完成机器人1的角度补偿和坐标补偿,进而改善闪光灯在吸附和移动过程中可能产生的位置或角度变化,从而提高了闪光灯的组装精确度。在其他实施例中,可以采用同一台所述机器人1用于移动闪光灯和手机玻璃背板。
如图1所示,所述机器人1为六轴机器人,所述第一同轴光源4和所述第二同轴光源5均为蓝色同轴光源。本实施例中,所述六轴机器人具有更好的自由度和灵活性,能够做到柔性生产,而且采用蓝色同轴光源,使得工业相机所采集的图像效果较好,闪光灯的组装精度更高,在其他实施例中也可以选择其他同轴光源。
如图2所示,一种机器人视觉引导的手机闪光灯组装方法,包含上述的机器人视觉引导的手机闪光灯组装系统,所述组装方法包括以下步骤:
S1、确定所述闪光灯的拍照位并设为第一拍照位,并选取第一拍照位所在平面上的多个不同位置点,通过所述控制系统控制机器人吸附闪光灯依次到达所选取的位置点,获取第一工业相机坐标系和机器人坐标系之间的关系;
S2、选取第二拍照位所在平面上的多个不同位置点,然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点,获取第二工业相机坐标系和机器人坐标系之间的关系;
S3、通过所述机器人将闪光灯移动到第一拍照位,同时将手机玻璃背板置于第二拍照位上,所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像;
S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理,获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ2,所述控制系统根据根据所获取的夹角θ1和夹角θ2进而控制机器人在第一拍照位旋转θ1-θ2的角度;
S5、当所述机器人完成所述步骤S4的角度旋转后,通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的进行图像采集,获取闪光灯两圆孔的中心点坐标(x1,y1)和(x2,y2),以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3);
S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系,计算出所述闪光灯中心点在机器人坐标系下的坐标(X1,Y1),并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系,计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)在机器人坐标系下的坐标(X2,Y2);
S7、根据所述步骤S6的计算结果,所述控制系统控制机器人的末端执行器在X轴方向上移动X2-X1的距离,以及在Y轴方向上移动Y2-Y1的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区,完成贴装。
本实施例中,所述组装方法首先通过确定第一工业相机和第一拍照位之间的位置,以及第二工业相机和第二拍照位之间的位置,完成相机坐标系与机器人坐标系的之间标定,然后通过第一工业相机和第二工业相机分别同时采集闪光灯和手机玻璃背板的图像,经视觉系统处理完成机器人的角度补偿,之后再次通过第一工业相机和第二工业相机分别同时采集闪光灯和手机玻璃背板的图像,通过视觉系统处理完成机器人的坐标补偿,最后机器人将闪光灯贴装在手机玻璃背板上完成组装,通过对机器人进行角度补偿和坐标补偿,改善了闪光灯在吸附和移动过程中可能产生的位置或角度变化,提高了组装的精确度,具有适用范围广和灵活性高的特点。
如图3所示,所述步骤S1的具体实现方式为:
S101、确定所述闪光灯的拍照位并设为第一拍照位,并选取第一拍照位所在平面的不同直线上三个位置点,通过所述控制系统控制机器人吸附所述闪光灯依次到达三个位置点,得到三个位置点的闪光灯中心点像素坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3),以及三个位置点的机器人坐标(Xm1,Ym1)、(Xm2,Ym2)、(Xm3,Ym3);
S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标,即可求出第一工业相机像素坐标系和机器人坐标系之间的关系矩阵,可表示为:
式(1)中,X=[Xm1 Xm2 Xm3],Y=[Ym1 Ym2 Ym3],x=[xc1 xc2 xc3],y=[yc1 yc2 yc3],R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵,r1、r2、r3和r4表示旋转矩阵R中的矩阵元素,t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵,t1和t2表示偏移矩阵t中的矩阵元素。
本实施例中,通过选取第一拍照位平面上不同直线上的三个位置点进行第一工业相机像素坐标系和机器人坐标系之间标定,确定了第一工业相机像素坐标系和机器人坐标系之间的关系式。
如图4所示,所述步骤S2的具体实现方式为:
S201、选取第二拍照位所在平面的不同直线上三个位置点,通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点,获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(xd1,yd1)、(xd2,yd2)、(xd3,yd3),以及三个位置点的机器人坐标(Xn1,Yn1)、(Xn2,Yn2)、(Xn3,Yn3);
S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标,即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵,可表示为:
式(2)中,X*=[Xn1 Xn2 Xn3],Y*=[Yn1 Yn2 Yn3],x*=[xd1 xd2 xd3],y*=[yd1 yd2yd3],R*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵,和表示旋转矩阵R*中的矩阵元素,t*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵,和表示偏移矩阵t*中的矩阵元素。
本实施例中,通过选取第二拍照位平面上不同直线上的三个位置点进行第二工业相机像素坐标系和机器人坐标系之间标定,确定了第二工业相机像素坐标系和机器人坐标系之间的关系式。
如图5所示,所述步骤S4的具体实现方式为:
S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI,并利用双边滤波去除手机玻璃背板图像的噪点,以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差,然后提取手机玻璃背板图像的边缘轮廓,根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘;
S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x4,y4)、(x5,y5)和(x6,y6),计算手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1,其计算公式为:
S403、提取所述步骤S3中采集的所述闪光灯图像的圆形细环ROI,并采用局部自适应对比度增强方法增大闪光灯图像的前景和背景的灰度差,然后提取闪光灯图像的边缘轮廓,并根据所提取的边缘轮廓面积和圆形度筛选出闪光灯图像的两圆孔边缘;
S404、拟合所述步骤S403中的两圆孔边缘,得到两圆孔的中心点坐标为(xe1,ye1)和(xe2,ye2),根据两圆孔的中心点获取闪光灯两圆孔中心点连线与水平轴之间的夹角θ2,其公式为:
S405、所述控制系统根据图像处理单元的处理结果控制机器人在第一拍照位处旋转θ1-θ2的角度。
本实施例中,通过图像处理单元对第一工业相机和第二工业相机所采集的图像进行处理,获取手机玻璃背板图像上边缘(即手机玻璃背板的边框,在图像中呈一条直线)与水平坐标轴之间的夹θ1以及闪光灯两圆孔中心点连线与水平轴之间的夹角,进而可通过控制系统控制机器人旋转,实现机器人的角度补偿。
如图6所示,所述步骤S5的具体实现方式为:
S501、所述控制系统控制第一工业相机和第二工业相机同时采集第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的图像;
S502、框选所述步骤S501采集的手机玻璃背板图像的闪光灯贴装区圆孔ROI,采用最大类间方差法对手机玻璃背板图像进行二值化处理,并提取手机玻璃背板闪光灯贴装区域,其中二值化处理可表示为:
式(5)中,ω1+ω2=1,M×N表示闪光灯贴装区圆孔图像上总像素点个数,N1表示闪光灯贴装区圆孔区域灰度值不大于设定灰度值的像素个数,N2表示闪光灯贴装区圆孔区域灰度值大于设定灰度值的像素个数,ω1表示闪光灯贴装区圆孔区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例,ω2表示闪光灯贴装区圆孔区域以外区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例,μ1表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值,μ2表示闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值,g表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值与闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值之间的方差;
S503、对所述步骤S502中处理后的手机玻璃背板图像进行形态学膨胀处理,去除面积较小干扰区域平滑边缘,并提取手机玻璃背板图像的边缘轮廓,然后根据所提取的边缘轮廓面积和圆形度筛选出手机玻璃背板上闪光灯贴装区圆孔的轮廓;
S504、拟合所述步骤S503筛选的手机玻璃背板闪光灯贴装区圆孔,即可得到手机玻璃背板上闪光灯贴装区圆孔的中心点坐标(x3,y3);
S505、提取所述步骤S5采集的闪光灯图像的圆形细环ROI,并采用局部自适应对比度增强方法增大闪光灯图像的圆形细环ROI的前景和背景的灰度差;
S506、提取所述步骤S505处理后的闪光灯图像的边缘轮廓,并根据所述闪光灯图像上的边缘轮廓面积和圆形度筛选出闪光灯图像上两圆孔边缘;
S507、拟合所述步骤S506中闪光灯图像上的两圆孔边缘,即可获取闪光灯图像上两圆孔的中心点坐标(x1,y1)和(x2,y2)。
本实施例中,通过图像处理单元对第一工业相机和第二工业相机所采集的图像进行处理,获取闪光灯两圆孔的中心点坐标(x1,y1)和(x2,y2)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3),进而可通过控制系统控制机器人平行移动,实现机器人的坐标补偿。
本实施例中,拟合所述闪光灯图像上的两圆孔中心点坐标的具体方法为:首先分别任取两圆孔边缘的其中两个边缘点,并求取两个边缘点连线的中垂线,迭代多次,组成一个中垂线集合A;随后在所述中垂线集合A中任取两条不平行的中垂线,并求所取两条不平行中垂线的交点,迭代多次,组成映射到圆心附近的映射点集B;然后任取映射点集B中任意两点P1和P2计算其欧氏距离,选取欧氏距离小于阈值(阈值是通过选取不同样本,多次交叉验证找到的)的映射点集为圆心类集,所选取的圆心类集服从二元高斯分布,并丢弃欧氏距离大于阈值的映射点,其欧式距离的计算公式为:
式(6)中,为映射点P1坐标,为映射点P2坐标;最后利用二元高斯分布和极大似然估计,估计两圆孔的中心点坐标,其中,二元高斯分布的概率密度可表示为:
式(7)中,T为矩阵的转置,μ为二元高斯分布的均值,σ为协方差矩阵,c为中心点坐标矩阵,维度为2,取对数可得
利用似然函数对二元高斯分布的均值(即期望)μ求全微分,公式为
令全微分为0,可得到待估计期望其中xk为圆心类集中映射点矩阵,n为圆心类集中映射点的个数,则可根据所得到的待估计期望估计出两圆孔的中心点坐标。
需要说明的是,本发明中ROI为region of interest,表示感兴趣区域;机器人末端执行器为机器人在工作中吸附闪光灯和手机玻璃背板的一端。本发明中的手机玻璃背板图像的上边缘ROI表示手机玻璃背板图像的上边缘感兴趣区域;闪光灯图像的圆形细环ROI表示闪光灯图像的圆形细环的感兴趣区域;手机玻璃背板图像的闪光灯贴装区圆孔ROI表示手机玻璃背板图像的闪光灯贴装区圆孔的感兴趣区域。
以上对本发明所提供的一种机器人视觉引导的手机闪光灯组装系统及组装方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (7)
1.一种机器人视觉引导的手机闪光灯组装系统,其特征在于,包括:
工作台,所述工作台上设有用于对所述闪光灯进行拍照的第一工业相机,以及对所述手机玻璃背板进行拍照的第二工业相机,所述第一工业相机上方设有用于辅助成像的第一同轴光源,所述第二工业相机上方设有用于放置所述手机玻璃背板的第二拍照位,所述第二工业相机和所述第二拍照位之间设有用于辅助成像的第二同轴光源;
机器人,用于移动所述闪光灯和所述手机玻璃背板;
视觉系统,包括用于实时处理所述第一工业相机和所述第二工业相机所采集图像的图像处理单元,以及用于存储经过所述图像处理单元处理后的图像信息的数据存储单元;
控制系统,用于根据所述视觉系统的处理结果控制所述机器人动作,以及控制所述第一工业相机和所述第二工业相机进行图像采集。
2.如权利要求1所述的机器人视觉引导的手机闪光灯组装系统,其特征在于,所述机器人为六轴机器人,所述第一同轴光源和所述第二同轴光源均为蓝色同轴光源。
3.一种机器人视觉引导的手机闪光灯组装方法,其特征在于,包含权利要求1或2任一项所述的机器人视觉引导的手机闪光灯组装系统,所述组装方法包括以下步骤:
S1、确定所述闪光灯的拍照位并设为第一拍照位,并选取第一拍照位所在平面上的多个不同位置点,通过所述控制系统控制机器人吸附闪光灯依次到达所选取的多个不同位置点,获取所述第一工业相机坐标系和机器人坐标系之间的关系;
S2、选取第二拍照位所在平面上的多个不同位置点,然后控制系统控制所述机器人吸附手机玻璃背板依次到达所选取的多个不同位置点,获取第二工业相机坐标系和机器人坐标系之间的关系;
S3、通过所述机器人将闪光灯移动到第一拍照位上,同时将手机玻璃背板置于第二拍照位上,所述控制系统控制第一工业相机和第二工业相机同时采集闪光灯和手机玻璃背板的图像;
S4、通过所述图像处理单元对所述步骤S3中采集的图像进行处理,获取手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1以及闪光灯两圆孔中心点连线与水平轴之间的夹角θ2,所述控制系统根据所获取的夹角θ1和夹角θ2进而控制机器人在第一拍照位旋转θ1-θ2的角度;
S5、当所述机器人完成所述步骤S4中的角度旋转后,通过所述控制系统控制第一工业相机和第二工业相机再次对第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板进行图像采集,获取闪光灯两圆孔的中心点坐标(x1,y1)和(x2,y2)以及手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3);
S6、根据所述步骤S1中第一工业相机坐标系和机器人坐标系之间的关系,计算出所述闪光灯中心点在机器人坐标系下的坐标(X1,Y1),并根据所述步骤S2中第二工业相机坐标系和机器人坐标系之间的关系,计算出手机玻璃背板闪光灯贴装区圆孔的中心点坐标(x3,y3)在机器人坐标系下的坐标(X2,Y2);
S7、根据所述步骤S6的计算结果,所述控制系统控制机器人的末端执行器在X轴方向上移动X2-X1的距离,以及在Y轴方向上移动Y2-Y1的距离,然后通过控制机器人垂直向下将闪光灯贴装于手机玻璃背板闪光灯贴装区,完成贴装。
4.如权利要求3所述的机器人视觉引导的手机闪光灯组装方法,其特征在于,所述步骤S1的具体实现方式为:
S101、确定所述闪光灯的拍照位并设为第一拍照位,并选取第一拍照位所在平面的不同直线上三个位置点,通过所述控制系统控制机器人吸附闪光灯依次到达三个位置点,得到三个位置点的闪光灯中心点的像素坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3),以及三个位置点的机器人坐标(Xm1,Ym1)、(Xm2,Ym2)、(Xm3,Ym3);
S102、根据所述步骤S101中的三个位置点得到的像素坐标和机器人坐标,即可求出所述第一工业相机像素坐标系和机器人坐标系之间的关系矩阵,可表示为:
式(1)中,X=[Xm1 Xm2 Xm3],Y=[Ym1 Ym2 Ym3],x=[xc1 xc2 xc3],y=[yc1 yc2 yc3],R表示第一工业相机像素坐标系和机器人坐标系之间的旋转矩阵,r1、r2、r3和r4表示旋转矩阵R中的矩阵元素,t表示第一工业相机像素坐标系和机器人坐标系之间的偏移矩阵,t1和t2表示偏移矩阵t中的矩阵元素。
5.如权利要求4所述的机器人视觉引导的手机闪光灯组装方法,其特征在于,所述步骤S2的具体实现方式为:
S201、选取第二拍照位所在平面的不同直线上三个位置点,通过所述控制系统控制机器人吸附手机玻璃背板依次到达三个位置点,获取三个位置点的手机玻璃背板圆孔的中心点像素坐标(xd1,yd1)、(xd2,yd2)、(xd3,yd3),以及三个位置点的机器人坐标(Xn1,Yn1)、(Xn2,Yn2)、(Xn3,Yn3);
S202、根据所述步骤S201中的三个位置点得到的像素坐标和机器人坐标,即可求出第二工业相机像素坐标系和机器人坐标系之间的关系矩阵,可表示为:
式(2)中,X*=[Xn1 Xn2 Xn3],Y*=[Yn1 Yn2 Yn3],x*=[xd1 xd2 xd3],y*=[yd1 yd2 yd3],R*表示第二工业相机像素坐标系和机器人坐标系之间的旋转矩阵,和表示旋转矩阵R*中的矩阵元素,t*表示第二工业相机像素坐标系和机器人坐标系之间的偏移矩阵,和表示偏移矩阵t*中的矩阵元素。
6.如权利要求5所述的机器人视觉引导的手机闪光灯组装方法,其特征在于,所述步骤S4的具体实现方式为:
S401、提取所述步骤S3中所采集的手机玻璃背板图像的上边缘ROI,并利用双边滤波去除手机玻璃背板图像的噪点,以及通过局部自适应对比度增强方法增大手机玻璃背板图像的前景和背景的灰度差,然后提取手机玻璃背板图像的边缘轮廓,根据所提取的边缘轮廓长度筛选出手机玻璃背板图像的上边缘;
S402、任取所述步骤S401中手机玻璃背板图像边缘轮廓上的三个边缘点(x4,y4)、(x5,y5)和(x6,y6),计算手机玻璃背板图像上边缘与水平坐标轴之间的夹角θ1,其计算公式为:
S403、提取所述步骤S3中采集的闪光灯图像的圆形细环ROI,并采用局部自适应对比度增强方法增大闪光灯图像的前景和背景的灰度差,然后提取闪光灯图像的边缘轮廓,并根据所提取的边缘轮廓面积和圆形度筛选出所述闪光灯图像的两圆孔边缘;
S404、拟合所述步骤S403中的两圆孔边缘,得到两圆孔的中心点坐标为(xe1,ye1)和(xe2,ye2),根据两圆孔的中心点获取闪光灯两圆孔中心点连线与水平轴之间的夹角θ2,其公式为:
S405、所述控制系统根据图像处理单元的处理结果控制机器人在第一拍照位处旋转θ1-θ2的角度。
7.如权利要求6所述的机器人视觉引导的手机闪光灯组装方法,其特征在于,所述步骤S5的具体实现方式为:
S501、所述控制系统控制第一工业相机和第二工业相机同时采集第一拍照位处的闪光灯和第二拍照位处的手机玻璃背板的图像;
S502、框选所述步骤S501采集的手机玻璃背板图像的闪光灯贴装区圆孔ROI,采用最大类间方差法对手机玻璃背板图像进行二值化处理,并提取手机玻璃背板闪光灯贴装区域,其中二值化处理可表示为:
式(5)中,ω1+ω2=1,M×N表示闪光灯贴装区圆孔图像上总像素点个数,N1表示闪光灯贴装区圆孔区域灰度值不大于设定灰度值的像素个数,N2表示闪光灯贴装区圆孔区域灰度值大于设定灰度值的像素个数,ω1表示闪光灯贴装区圆孔区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例,ω2表示闪光灯贴装区圆孔区域以外区域像素点个数占整幅闪光灯贴装区圆孔图像总像素点个数的比例,μ1表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值,μ2表示闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值,g表示闪光灯贴装区圆孔区域所有像素点灰度值的平均值与闪光灯贴装区圆孔区域以外区域所有像素点灰度值的平均值之间的方差;
S503、对所述步骤S502中处理后的手机玻璃背板图像进行形态学膨胀处理,去除面积较小干扰区域平滑边缘,并提取手机玻璃背板图像的边缘轮廓,然后根据所提取的边缘轮廓面积和圆形度筛选出手机玻璃背板上闪光灯贴装区圆孔的轮廓;
S504、拟合所述步骤S503筛选的手机玻璃背板闪光灯贴装区圆孔,即可得到手机玻璃背板上闪光灯贴装区圆孔的中心点坐标(x3,y3);
S505、提取所述步骤S5采集的闪光灯图像的圆形细环ROI,并采用局部自适应对比度增强方法增大闪光灯图像的圆形细环ROI的前景和背景的灰度差;
S506、提取所述步骤S505处理后的闪光灯图像的边缘轮廓,并根据所述闪光灯图像上的边缘轮廓面积和圆形度筛选出闪光灯图像上两圆孔边缘;
S507、拟合所述步骤S506中闪光灯图像上的两圆孔边缘,即可获取闪光灯图像上两圆孔的中心点坐标(x1,y1)和(x2,y2)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910184435.9A CN109719734B (zh) | 2019-03-12 | 2019-03-12 | 一种机器人视觉引导的手机闪光灯组装系统及组装方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910184435.9A CN109719734B (zh) | 2019-03-12 | 2019-03-12 | 一种机器人视觉引导的手机闪光灯组装系统及组装方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109719734A true CN109719734A (zh) | 2019-05-07 |
CN109719734B CN109719734B (zh) | 2021-12-21 |
Family
ID=66302288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910184435.9A Active CN109719734B (zh) | 2019-03-12 | 2019-03-12 | 一种机器人视觉引导的手机闪光灯组装系统及组装方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109719734B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110561435A (zh) * | 2019-09-17 | 2019-12-13 | 北京康视杰视觉技术有限公司 | 一种引导机械手的方法、装置、系统及上位机 |
CN111452043A (zh) * | 2020-03-27 | 2020-07-28 | 陕西丝路机器人智能制造研究院有限公司 | 机器人与工业相机手眼标定的方法 |
CN111906770A (zh) * | 2020-09-14 | 2020-11-10 | 珠海格力智能装备有限公司 | 工件安装方法及系统、计算机可读存储介质 |
CN112208113A (zh) * | 2020-08-13 | 2021-01-12 | 苏州赛米维尔智能装备有限公司 | 一种基于视觉引导的导热棉自动贴附装置及其贴附方法 |
CN112388646A (zh) * | 2020-10-13 | 2021-02-23 | 中铭谷智能机器人(广东)有限公司 | 一种单块钣金机器人智能喷漆方法 |
CN112391912A (zh) * | 2019-08-16 | 2021-02-23 | 四川轻化工大学 | 基于视觉技术的路缘石铺装控制系统及方法 |
CN112777346A (zh) * | 2020-12-23 | 2021-05-11 | 深圳市旗众智能科技有限公司 | 基于工业相机的手机辅料进料识别方法 |
CN114347013A (zh) * | 2021-11-05 | 2022-04-15 | 深港产学研基地(北京大学香港科技大学深圳研修院) | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 |
CN115194773A (zh) * | 2022-08-22 | 2022-10-18 | 苏州佳祺仕信息科技有限公司 | 一种视觉引导组装方法及装置 |
CN116749021A (zh) * | 2023-08-18 | 2023-09-15 | 太原理工大学 | 一种双百叶轮对称抛磨装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106671083A (zh) * | 2016-12-03 | 2017-05-17 | 安徽松科智能装备有限公司 | 一种基于机器视觉检测的装配机器人系统 |
CN108766894A (zh) * | 2018-06-07 | 2018-11-06 | 湖南大学 | 一种机器人视觉引导的芯片贴装方法及系统 |
US20180345503A1 (en) * | 2017-05-30 | 2018-12-06 | International Business Machines Corporation | Inspecting clearance size between mechanical parts |
-
2019
- 2019-03-12 CN CN201910184435.9A patent/CN109719734B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106671083A (zh) * | 2016-12-03 | 2017-05-17 | 安徽松科智能装备有限公司 | 一种基于机器视觉检测的装配机器人系统 |
US20180345503A1 (en) * | 2017-05-30 | 2018-12-06 | International Business Machines Corporation | Inspecting clearance size between mechanical parts |
CN108766894A (zh) * | 2018-06-07 | 2018-11-06 | 湖南大学 | 一种机器人视觉引导的芯片贴装方法及系统 |
Non-Patent Citations (1)
Title |
---|
华洁: "彩色图像局部自适应对比度增强算法研究 ", 《铜陵学院学报》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112391912A (zh) * | 2019-08-16 | 2021-02-23 | 四川轻化工大学 | 基于视觉技术的路缘石铺装控制系统及方法 |
CN110561435A (zh) * | 2019-09-17 | 2019-12-13 | 北京康视杰视觉技术有限公司 | 一种引导机械手的方法、装置、系统及上位机 |
CN111452043A (zh) * | 2020-03-27 | 2020-07-28 | 陕西丝路机器人智能制造研究院有限公司 | 机器人与工业相机手眼标定的方法 |
CN112208113A (zh) * | 2020-08-13 | 2021-01-12 | 苏州赛米维尔智能装备有限公司 | 一种基于视觉引导的导热棉自动贴附装置及其贴附方法 |
CN111906770A (zh) * | 2020-09-14 | 2020-11-10 | 珠海格力智能装备有限公司 | 工件安装方法及系统、计算机可读存储介质 |
CN112388646A (zh) * | 2020-10-13 | 2021-02-23 | 中铭谷智能机器人(广东)有限公司 | 一种单块钣金机器人智能喷漆方法 |
CN112777346A (zh) * | 2020-12-23 | 2021-05-11 | 深圳市旗众智能科技有限公司 | 基于工业相机的手机辅料进料识别方法 |
CN114347013A (zh) * | 2021-11-05 | 2022-04-15 | 深港产学研基地(北京大学香港科技大学深圳研修院) | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 |
CN115194773A (zh) * | 2022-08-22 | 2022-10-18 | 苏州佳祺仕信息科技有限公司 | 一种视觉引导组装方法及装置 |
CN115194773B (zh) * | 2022-08-22 | 2024-01-05 | 苏州佳祺仕科技股份有限公司 | 一种视觉引导组装方法及装置 |
CN116749021A (zh) * | 2023-08-18 | 2023-09-15 | 太原理工大学 | 一种双百叶轮对称抛磨装置及方法 |
CN116749021B (zh) * | 2023-08-18 | 2023-11-07 | 太原理工大学 | 一种双百叶轮对称抛磨装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109719734B (zh) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109719734A (zh) | 一种机器人视觉引导的手机闪光灯组装系统及组装方法 | |
CN108766894B (zh) | 一种机器人视觉引导的芯片贴装方法及系统 | |
CN109270534A (zh) | 一种智能车激光传感器与相机在线标定方法 | |
CN109344882A (zh) | 基于卷积神经网络的机器人控制目标位姿识别方法 | |
CN107563446A (zh) | 一种微操作系统目标检测方法 | |
CN109727291B (zh) | 一种变焦距摄像机的高精度在线标定方法 | |
CN107942949A (zh) | 一种机床视觉定位方法及系统、机床 | |
CN111968048B (zh) | 电力巡检少样本图像数据增强方法及系统 | |
CN107818577A (zh) | 一种基于混合模型的零件识别与定位方法 | |
CN107588723B (zh) | 一种基于两步法的高速动目标上圆形标记漏点检测方法 | |
CN107941808A (zh) | 基于机器视觉的3d打印成型质量检测系统及方法 | |
CN112893007A (zh) | 一种基于机器视觉的点胶系统及其点胶方法 | |
CN108898634A (zh) | 基于双目相机视差对绣花机目标针眼进行精确定位的方法 | |
CN108955682A (zh) | 手机室内定位导航方法 | |
CN106376230A (zh) | 贴片头偏移量的校正方法 | |
CN110209184A (zh) | 一种基于双目视觉系统的无人机避障方法 | |
CN110954555A (zh) | Wdt 3d视觉检测系统 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN115816471A (zh) | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 | |
CN110298885A (zh) | 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用 | |
CN109871024A (zh) | 一种基于轻量级视觉里程计的无人机位姿估计方法 | |
CN115546289A (zh) | 一种基于机器人的复杂结构件三维形貌测量方法 | |
CN114290016A (zh) | 一种基于双目视差计算的木工家具高精度装配系统及方法 | |
CN109974853A (zh) | 基于多光谱复合的仿生视觉目标检测与跟踪方法 | |
CN109584259B (zh) | 一种石英坩埚气泡分层计数装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |