CN110355567A - 基于相机的机器人装配方法 - Google Patents

基于相机的机器人装配方法 Download PDF

Info

Publication number
CN110355567A
CN110355567A CN201910726514.8A CN201910726514A CN110355567A CN 110355567 A CN110355567 A CN 110355567A CN 201910726514 A CN201910726514 A CN 201910726514A CN 110355567 A CN110355567 A CN 110355567A
Authority
CN
China
Prior art keywords
image
shape
camera
xld
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910726514.8A
Other languages
English (en)
Other versions
CN110355567B (zh
Inventor
相海华
许辉
黄婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huibo Robot Technology Co Ltd
Original Assignee
Jiangsu Huibo Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huibo Robot Technology Co Ltd filed Critical Jiangsu Huibo Robot Technology Co Ltd
Priority to CN201910726514.8A priority Critical patent/CN110355567B/zh
Publication of CN110355567A publication Critical patent/CN110355567A/zh
Application granted granted Critical
Publication of CN110355567B publication Critical patent/CN110355567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种机器人自动装配，尤其是基于相机的机器人装配方法，包括以下步骤：对装配用的各个零件进行形状模型制作，并保存各个零件的形状模型图像；通过机械手的相机进行拍照，然后根据拍摄的图像进行检测并匹配；根据匹配的结果对零件进行装配。本发明提供的基于相机的机器人装配方法通过相机拍照进行形状检测，然后根据形状对零件进行匹配和装配，适用范围广。

Description

基于相机的机器人装配方法
技术领域
本发明涉及一种机器人自动装配，尤其是基于相机的机器人装配方法。
背景技术
针对目前机器人的如火如荼形势，越来越多的企业、高校、研究院等部门都在加大对机器人技术的学习掌握。
而机器人装配也是一个很重要的技术，现有的机器人装配多是通过分料装置对零件分类、排列，并将各个零件输送到各自的固定位置，机器人按照顺序抓取零件即可，无需识别零件。
这种装配方法对于没有分料装置的情况下，无法适用。
发明内容
为解决上述问题，本发明提供一种通过相机拍照进行形状检测，然后根据形状对零件进行匹配和装配的基于相机的机器人装配方法，具体技术方案为：
基于相机的机器人装配方法，包括以下步骤：
对装配用的各个零件进行形状模型制作，并保存各个零件的形状模型图像；
通过机械手的相机进行拍照，然后根据拍摄的图像进行检测并匹配；
根据匹配的结果对零件进行装配。
优选的，所述形状模型的制作包括以下步骤：
S110、用basler相机软件对装配用的零件进行拍摄，并保存图像，得到第一图像；
S120、用halcon读取第一图像；
S130、对第一图像进行局部二值化，仅保留工件装配位，得到第二图像；
S140：减少第二图像的域，得到第三图像；
S150、计算第三图像的连通域，合并所选像素区域得到第四图像；
S160、调节阈值参数，在第四图像上选择零件形状特征区域；
S170、对选择的形状特征区域进行扩充；得到装配用形状模型的XLD轮廓图像；
S180、对形状模型的XLD轮廓图像创建形状模型模板，并设置形状模型模板的比例不变，得到装配用形状模型的XLD轮廓图像模板；
S190、将得到的装配用形状模型的XLD轮廓图像模板保存到模型文件夹。
优选的，所述检测并匹配包括以下步骤：
S210：安装在机械臂上的相机对待装配的零件进行拍照，得到零件图像并获知图像大小；
S220、对采集到的零件图像进行阈值化调参，得到零件的区域位置；
S230、对阈值化调参后的图像进行调参，选择零件的形状特征区域；
S240、根据区域的相对位置对区域进行排序，目的是比较阈值最佳的区域；
S250、减少形状特征区域的域，目的是去除图像中不需要的部分；
S260、读取保存在模型文件夹的装配用形状模型的XLD轮廓图像模板；
S270、计算装配用形状模型的XLD轮廓图像模板的最佳匹配点；
S280、循环将最佳匹配点跟形状区域相匹配。
优选的，所述步骤S270中计算装配用形状模型的XLD轮廓图像模板的最佳匹配点包括以下步骤：
计算最佳匹配区域过程具体如下：
S271、返回装配用形状模型的XLD轮廓图像模板；
S272、生成相同2D变换的齐次变换矩阵
S273、2D变换矩阵添加平移向量其中tx,ty分别表示的是平移值；
S274、2D变换矩阵添加旋转向量其中sin(ξ),cos(ξ)分别表示的是旋转向量的正余弦值；
S275、对XLD轮廓应用任意放射2D变换；
S276、得到中心光标位置；
S277、从区域生成XLD轮廓；
S278、得到区域中心光标位置。
与现有技术相比本发明具有以下有益效果：
本发明提供的基于相机的机器人装配方法通过相机拍照进行形状检测，然后根据形状对零件进行匹配和装配，适用范围广。
附图说明
图1是实施例的端盖的结构示意图；
图2是实施例的连接轴的结构示意图；
图3是实施例的连接座的结构示意图；
图4是端盖、连接轴和连接座的装配图的剖面结构示意图；
图5是端盖的XLD轮廓图像模板；
图6是连接轴的XLD轮廓图像模板；
图7是连接座的XLD轮廓图像模板。
具体实施方式
现结合附图对本发明作进一步说明。
基于相机的机器人装配方法，包括以下步骤：
对装配用的各个零件进行形状模型制作，并保存各个零件的形状模型图像；
通过机械手的相机进行拍照，然后根据拍摄的图像进行检测并匹配；
根据匹配的结果对零件进行装配。
具体的，所述形状模型的制作包括以下步骤：
S110、用basler相机软件对装配用的零件进行拍摄，并保存图像，得到第一图像；
S120、用halcon读取第一图像；
S130、对第一图像进行局部二值化，仅保留工件装配位，得到第二图像；
S140：减少第二图像的域，得到第三图像；
S150、计算第三图像的连通域，合并所选像素区域得到第四图像；
S160、调节阈值参数，在第四图像上选择零件形状特征区域；
S170、对选择的形状特征区域进行扩充；得到装配用形状模型的XLD轮廓图像；
S180、对形状模型的XLD轮廓图像创建形状模型模板，并设置形状模型模板的比例不变，得到装配用形状模型的XLD轮廓图像模板；
S190、将得到的装配用形状模型的XLD轮廓图像模板保存到模型文件夹。
其中，S150中的连通域指通过对二值图像中白色像素(目标)的标记，让每个单独的连通域形成一个被标识的块，进一步的我们就可以获取这些块的轮廓、外接矩形、质心、不变矩等几何参数。像素区域指阈值处理后得到的像素。
S170中的扩充指还原轮廓。
检测并匹配包括以下步骤：
S210：安装在机械臂上的相机对待装配的零件进行拍照，得到零件图像并获知图像大小；
S220、对采集到的零件图像进行阈值化调参，得到零件的区域位置；
S230、对阈值化调参后的图像进行调参，选择零件的形状特征区域；
S240、根据区域的相对位置对区域进行排序，目的是比较阈值最佳的区域；
S250、减少形状特征区域的域，目的是去除图像中不需要的部分；
S260、读取保存在模型文件夹的装配用形状模型的XLD轮廓图像模板；
S270、计算装配用形状模型的XLD轮廓图像模板的最佳匹配点；
S280、循环将最佳匹配点跟形状区域相匹配，即循环寻找最佳匹配点。
其中，S220中的区域位置指图像中不同目标物体与背景区域。
S240中相对位置指相对于不同目标区域的位置。区域指目标区域。排序指根据阈值大小进行排序。
所述步骤S270中计算装配用形状模型的XLD轮廓图像模板的最佳匹配点包括以下步骤：
计算最佳匹配区域过程具体如下：
S271、返回装配用形状模型的XLD轮廓图像模板；
S272、生成相同2D变换的齐次变换矩阵
S273、2D变换矩阵添加平移向量其中tx,ty分别表示的是平移值；
S274、2D变换矩阵添加旋转向量其中sin(ξ),cos(ξ)分别表示的是旋转向量的正余弦值；
S275、对XLD轮廓应用任意放射2D变换；
S276、得到中心光标位置；
S277、从区域生成XLD轮廓；
S278、得到区域中心光标位置。
其中，中心光标就是位置，匹配靠的是XLD形状的匹配确定。
实施例一
如图1至图7所示，分别对端盖1、连接轴2和连接座3进行模型制作，分别得到端盖的XLD轮廓图像模板4、连接轴的XLD轮廓图像模板5、连接座的XLD轮廓图像模板6。
在装配时，先对零件进行拍照，然后将零件与XLD轮廓图形模板进行匹配，确定零件后进行装置，根据装配顺序先将连接座3固定，然后对连接轴2进行匹配，得到连接轴2的装配中心相对于连接座3的装配中心的坐标，然后根据两者的相对坐标进行装配，同理对端盖1进行装配。

Claims (4)

1.基于相机的机器人装配方法，其特征在于，包括以下步骤：
对装配用的各个零件进行形状模型制作，并保存各个零件的形状模型图像；
通过机械手的相机进行拍照，然后根据拍摄的图像进行检测并匹配；
根据匹配的结果对零件进行装配。
2.根据权利要求1所述的基于相机的机器人装配方法，其特征在于，
所述形状模型的制作包括以下步骤：
S110、用basler相机软件对装配用的零件进行拍摄，并保存图像，得到第一图像；
S120、用halcon读取第一图像；
S130、对第一图像进行局部二值化，仅保留工件装配位，得到第二图像；
S140：减少第二图像的域，得到第三图像；
S150、计算第三图像的连通域，合并所选像素区域得到第四图像；
S160、调节阈值参数，在第四图像上选择零件形状特征区域；
S170、对选择的形状特征区域进行扩充；得到装配用形状模型的XLD轮廓图像；
S180、对形状模型的XLD轮廓图像创建形状模型模板，并设置形状模型模板的比例不变，得到装配用形状模型的XLD轮廓图像模板；
S190、将得到的装配用形状模型的XLD轮廓图像模板保存到模型文件夹。
3.根据权利要求1所述的基于相机的机器人装配方法，其特征在于，
所述检测并匹配包括以下步骤：
S210：安装在机械臂上的相机对待装配的零件进行拍照，得到零件图像并获知图像大小；
S220、对采集到的零件图像进行阈值化调参，得到零件的区域位置；
S230、对阈值化调参后的图像进行调参，选择零件的形状特征区域；
S240、根据区域的相对位置对区域进行排序，目的是比较阈值最佳的区域；
S250、减少形状特征区域的域，目的是去除图像中不需要的部分；
S260、读取保存在模型文件夹的装配用形状模型的XLD轮廓图像模板；
S270、计算装配用形状模型的XLD轮廓图像模板的最佳匹配点；
S280、循环将最佳匹配点跟形状区域相匹配。
4.根据权利要求3所述的基于相机的机器人装配方法，其特征在于，
所述步骤S270中计算装配用形状模型的XLD轮廓图像模板的最佳匹配点包括以下步骤：
计算最佳匹配区域过程具体如下：
S271、返回装配用形状模型的XLD轮廓图像模板；
S272、生成相同2D变换的齐次变换矩阵
S273、2D变换矩阵添加平移向量其中tx,ty分别表示的是平移值；
S274、2D变换矩阵添加旋转向量其中sin(ξ),cos(ξ)分别表示的是旋转向量的正余弦值；
S275、对XLD轮廓应用任意放射2D变换；
S276、得到中心光标位置；
S277、从区域生成XLD轮廓；
S278、得到区域中心光标位置。
CN201910726514.8A 2019-08-07 2019-08-07 基于相机的机器人装配方法 Active CN110355567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910726514.8A CN110355567B (zh) 2019-08-07 2019-08-07 基于相机的机器人装配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910726514.8A CN110355567B (zh) 2019-08-07 2019-08-07 基于相机的机器人装配方法

Publications (2)

Publication Number Publication Date
CN110355567A true CN110355567A (zh) 2019-10-22
CN110355567B CN110355567B (zh) 2021-08-10

Family

ID=68223364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910726514.8A Active CN110355567B (zh) 2019-08-07 2019-08-07 基于相机的机器人装配方法

Country Status (1)

Country Link
CN (1) CN110355567B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115055964A (zh) * 2022-08-18 2022-09-16 山东鑫亚工业股份有限公司 一种基于喷油泵的智能装配方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1689565A2 (en) * 2003-11-24 2006-08-16 Abb Research Ltd. An industrial robot with controlled flexibility and simulated force for automated assembly
CN101256257A (zh) * 2007-02-28 2008-09-03 鸿富锦精密工业（深圳）有限公司 相机模组的对位组装系统及对位组装方法
US20140259644A1 (en) * 2013-03-18 2014-09-18 Kabushiki Kaisha Yaskawa Denki Robot system, control apparatus, and method of manufacturing work piece
CN107263468A (zh) * 2017-05-23 2017-10-20 陕西科技大学 一种利用数字图像处理技术的scara机器人装配方法
CN108818537A (zh) * 2018-07-13 2018-11-16 南京工程学院 一种基于云端深度学习的机器人工业分拣方法
CN109202802A (zh) * 2018-11-14 2019-01-15 山东大学 一种用于卡合装配的视觉引导系统及方法
CN109623811A (zh) * 2018-11-28 2019-04-16 江苏聚缘机械设备有限公司 四自由度的自动装甑机器人的投料方法
CN109926817A (zh) * 2018-12-20 2019-06-25 南京理工大学 基于机器视觉的变压器自动装配方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1689565A2 (en) * 2003-11-24 2006-08-16 Abb Research Ltd. An industrial robot with controlled flexibility and simulated force for automated assembly
CN101256257A (zh) * 2007-02-28 2008-09-03 鸿富锦精密工业（深圳）有限公司 相机模组的对位组装系统及对位组装方法
US20140259644A1 (en) * 2013-03-18 2014-09-18 Kabushiki Kaisha Yaskawa Denki Robot system, control apparatus, and method of manufacturing work piece
CN104057446A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人系统、控制装置和被加工物制造方法
CN107263468A (zh) * 2017-05-23 2017-10-20 陕西科技大学 一种利用数字图像处理技术的scara机器人装配方法
CN108818537A (zh) * 2018-07-13 2018-11-16 南京工程学院 一种基于云端深度学习的机器人工业分拣方法
CN109202802A (zh) * 2018-11-14 2019-01-15 山东大学 一种用于卡合装配的视觉引导系统及方法
CN109623811A (zh) * 2018-11-28 2019-04-16 江苏聚缘机械设备有限公司 四自由度的自动装甑机器人的投料方法
CN109926817A (zh) * 2018-12-20 2019-06-25 南京理工大学 基于机器视觉的变压器自动装配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王玉波等: "《基于HALCON的四目摄像机标定技术》", 《信息技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115055964A (zh) * 2022-08-18 2022-09-16 山东鑫亚工业股份有限公司 一种基于喷油泵的智能装配方法及系统

Also Published As

Publication number Publication date
CN110355567B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Chen et al. DCAM-Net: A rapid detection network for strip steel surface defects based on deformable convolution and attention mechanism
CN107341802B (zh) 一种基于曲率与灰度复合的角点亚像素定位方法
JP4825253B2 (ja) 可変形オブジェクト認識のためのシステムおよび方法
CN106780455B (zh) 一种基于滑动的局部邻域窗口的产品表面检测方法
Wu et al. Solder joint recognition using mask R-CNN method
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
Luo et al. 3D pose estimation of large and complicated workpieces based on binocular stereo vision
CN110443791B (zh) 一种基于深度学习网络的工件检测方法及其检测装置
Zhou et al. Who are raising their hands? Hand-raiser seeking based on object detection and pose estimation
Chen et al. Research on detection algorithm of lithium battery surface defects based on embedded machine vision
CN110355567A (zh) 基于相机的机器人装配方法
Wang et al. InterFusion: Interaction-based 4D radar and LiDAR fusion for 3D object detection
Wu et al. Scale-adaptive pothole detection and tracking from 3-d road point clouds
Jiang et al. MA-YOLO: a method for detecting surface defects of aluminum profiles with attention guidance
Singh et al. Performance analysis of object detection algorithms for robotic welding applications in planar environment
Lin et al. Target recognition and optimal grasping based on deep learning
CN108074264A (zh) 一种分级多目视觉定位方法、系统及装置
CN114170202B (zh) 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置
KR101391667B1 (ko) 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
CN113159278A (zh) 一种分割网络系统
Qi et al. Research progress of part point cloud detection based on deep learning
Ren et al. A 3D point cloud registration algorithm based on feature points
Wang et al. A Novel Visual Detecting and Positioning Method for Screw Holes
Wang et al. Workpiece image Mosaic technology based on OpenCV image processing
Liu et al. A fast defect detection method for PCBA based on YOLOv7.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant