CN105563481B - 一种用于轴孔装配的机器人视觉引导方法 - Google Patents

一种用于轴孔装配的机器人视觉引导方法 Download PDF

Info

Publication number
CN105563481B
CN105563481B CN201410632342.5A CN201410632342A CN105563481B CN 105563481 B CN105563481 B CN 105563481B CN 201410632342 A CN201410632342 A CN 201410632342A CN 105563481 B CN105563481 B CN 105563481B
Authority
CN
China
Prior art keywords
image
robot
coordinate
data
edge extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410632342.5A
Other languages
English (en)
Other versions
CN105563481A (zh
Inventor
宋吉来
曲道奎
刘晓帆
钱益舟
韩志平
孙秉斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Siasun Robot and Automation Co Ltd filed Critical Shenyang Siasun Robot and Automation Co Ltd
Priority to CN201410632342.5A priority Critical patent/CN105563481B/zh
Publication of CN105563481A publication Critical patent/CN105563481A/zh
Application granted granted Critical
Publication of CN105563481B publication Critical patent/CN105563481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种用于轴孔装配的机器人视觉引导方法,利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到上位机;上位机对图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的中心位置及半径的图像数据;将各轴孔的图像坐标数据转换为机器人坐标系的坐标数据;将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作。该方法提高了工业机器人智能装配的准确性、稳定性,提高了其自动化程度。

Description

一种用于轴孔装配的机器人视觉引导方法
技术领域
[0001] 本发明涉及机器人控制领域,具体涉及一种用于轴孔装配的机器人视觉引导方 法。
背景技术
[0002] 在现代制造业中,工业机器人被广泛的应用于各种生产需求,如焊接、喷涂、码垛、 装配等。它不仅能将工人从繁杂的劳动任务中解放出来,而且同时也提高了产品的质量和 生产线的自动化水平,大大地提高了工作效率。特别地,在零件装配生产任务中,多轴孔装 配任务是常见的任务类型之一。在此情况下,多对轴孔同时存在装配关系,工业机器人被要 求自动准确定位,同时满足正确的装配对应关系。更重要地,需要避免两工件发生碰撞从而 导致缺陷。因此可知,多轴孔装配任务的自动化水平要求很高。
[0003] 鉴于以上需求,人们提出了利用机器视觉进行智能装配的视觉引导技术方法。机 器视觉是利用电子相机产生的图像信息,为机器增加视觉功能的技术。它具有信息量丰富、 非接触测量和处理手段多样等优点,被大量地用于在机器人自动化领域,人们针对利用机 器视觉系统指导装配过程已经开展了一定的工作。如,於明亮等提出的被动装配研究方案, 陈兴洲等提出的定位检测算法等。目前,机器视觉在智能装配领域应用较少,且方法手段还 较为初级,针对智能装配,特别是多轴孔装配的自动化,高精度要求还难以满足。
发明内容
[0004] 本发明所要解决的技术问题是提供一种轴孔装配的机器人视觉引导方法,以满足 现有技术中高精度,低成本的需求。
[0005] 为达到上述目的,本发明提供如下的技术方案:
[0006] 利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到 上位机;
[0007] 上位机对所述图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的 的中心位置及半径的图像数据;
[0008] 将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据;
[0009] 将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作。
[0010] 优选的,上位机对所述图像数据进行图像处理和分析,得出孔系工件在图像上的 各轴孔的的中心位置及半径的图像数据,具体步骤为:
[0011] 对图像数据进行平滑预处理,去除噪声;
[0012] 在预处理的图像的基础上,对图像进行边缘提取;
[0013] 在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径;
[0014] 对检测到得圆做出进一步筛选,得出最佳的圆检测结果。
[0015] 优选的,在预处理的图像的基础上,对图像进行边缘提取的步骤具体为:
[0016] 分别在图像的X方向和Y方向进行Sobel微分计算,得到两幅边缘提取图像;
[0017] 对两幅边缘提取图像,逐点计算像素点平方和,得到一幅新的平方和图像;
[0018] 计算所述平方和图像的均值;
[0019] 将所述均值的倍数作为阈值,对平方和图像进行二值化,得到边缘提取的最终结 果。
[0020] 优选的,在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径,具 体为:
[0021] 将边缘提取的二值化图像空间的非零像素点变换到参数累加空间,取得参数累加 空间的最大值;
[0022] 根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值;
[0023] 根据所述阈值在累加空间提取检测到的圆。
[0024] 优选的,所述将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据,具 体步骤为:
[0025] 利用视觉标定原理求取工业相机的内、外参数;
[0026] 对机器人坐标系进行零位标定;
[0027] 根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及 参数,求取工件轴孔像素点对应的机器人坐标。
[0028] 本发明所提供的一种用于轴孔装配的机器人视觉引导方法,利用工业相机为机器 人增加视觉功能,即通过工业相机所采集的图像获得工作场景图像,通过以上所述图像处 理分析功能获得图像中有用的视觉信息,在利用视觉信息驱动机器人朝目标运动。机器视 觉功能要求相机的坐标系与机器人的坐标系相一致,只有这样才能在机器视觉和机器人运 动之间建立一致性联系,从而达到“手眼协调”,提高工业机器人智能装配的准确性、稳定 性,提高了其自动化程度。
附图说明
[0029] 图1为本发明实施例提供的一种用于轴孔装配的机器人视觉引导方法流程图。
具体实施方式
[0030] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例 和附图,对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是,所描述的实 施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的 范围。
[0031] 如图1所示,一种用于轴孔装配的机器人视觉引导方法,包括如下步骤:
[0032] SlO:利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据 传到上位机。
[0033] 利用工业相机对孔系工件进行拍照,获取图像数据,相机将图像数据经千兆以太 网传到上位机。
[0034] S20:上位机对所述图像数据进行处理和分析,得出孔系工件在图像上各轴孔的中 心位置及半径的图像数据。
[0035] 为了达成步骤S20的目标,需对图像数据进行如下处理,包括如下步骤:
[0036] S201:对图像数据进行平滑预处理,去除噪声;
[0037] S202:在预处理的图像的基础上,对图像进行边缘提取;
[0038] 利用图像边缘算子,对图像进行边缘提取,具体方法为:
[0039] S2021:分别在图像的X方向和Y方向进行Sobel微分计算,得到两幅边缘提取图像。
[0040] 其中,X方向和Y方向的Sobe 1算子分别为:
Figure CN105563481BD00051
[0042] S2022:对两幅边缘提取图像,逐点计算像素点平方和,得到一幅新的平方和图像;
[0043] 假设图像数据为Ixy,得到的X方向和Y方向的边缘提取图像为Ix和Iy,则所得到的 平方和图像I为
Figure CN105563481BD00052
[0045] S2023:计算所述平方和图像的均值。
[0046] 得到的为I的均值Imean。
[0047] S2024:将所述均值的倍数作为阈值,对平方和图像进行二值化,得到边缘提取的 最终结果。
[0048] 此处,均值的倍数为可调参数,通常取3。
[0049] S203:在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径。
[0050] 此处,利用霍夫变换原理,在边缘提取的基础上,提取图像中各轴孔所对应圆的中 心位置和半径。霍夫变换是利用图形在图像原空间和图形参数空间的对偶关系,在参数空 间中检测图像中图形的一种理论方法。可以用来检测直线、圆、椭圆等各种图形。
[0051] S2031:将边缘提取的二值化图像空间的非零像素点变换到参数累加空间,取得参 数累加空间的最大值。
[0052] S2032:根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈 值;
[0053] S2033:根据所述阈值在累加空间提取检测到的圆。
[0054] 在根据最终累加空间中的累加值最大点Amax作为基准,根据一定比率λ设定阈值 为AmaxU,在累加空间中选取大于阈值的点作为可能的候选圆。假设三位空间中某点(X*, y*,r*)的累加值大于阈值,则意味着在二值图像的(x*,y*)点处存在着一个半径为r*的圆。 霍夫变换的最终结果为一组这样的圆构成的集合。
[0055] S204:对检测到得圆做出进一步筛选,得出最佳的圆检测结果。
[0050]具体为:设定一相似度距离V作为两个圆Cl (xl,yl,rl)和C2 (x2,y2,r2)相似的度 量,如下定义:
[0057] V= (x2~xi)2+ (y2~yi)2+ (r2-ri)2,
[0058] 首先,检测结果R设为空集合;然后对霍夫变换检测结果逐一扫描,若不在R中的某 圆c与检测结果R中的某一圆cr相似(相似度距离小于某阈值ν’),则认为两个圆相似,将两 个圆中霍夫空间累加值较大的保留在检测结果集合R中,若c与R中的任一圆都不相似,则将 c加入到R中。
[0059] S30:将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据。
[0060] 具体步骤为:
[0061] S301:利用视觉标定原理求取工业相机的内、外参数;
[0062] 采用张正友的相机标定方法求取相机的内、外参数A和R、T。采用棋盘格作为3维标 定物,以棋盘格为Z = O平面,设有M行N列棋盘格的角点,坐标值为(0,0),(0,1),···,(M,N), 单位为棋盘格数,采集多幅图像后,根据棋盘格图像角点坐标与棋盘格坐标的对应关系,求 取相机的内、外参数A,R,T。
[0063] S302:对机器人坐标系进行零位标定。
[0064] 以棋盘格的(0,0)点示教为机器人的零点,以棋盘格的X增长方向设定为机器人的 X方向,以棋盘格的y增长方向设定为机器人的y方向对机器人坐标系进行零位标定,使机器 人坐标的零点位置与工业相机的图像坐标零位相一致,以及使机器人坐标的坐标轴方向与 工业相机的坐标轴方向相一致。
[0065] S303:根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程 公式及参数,求取工件轴孔像素点对应的机器人坐标。
[0066] 根据以下方程的求解来完成由(u,v)到(Χ,Υ,Ζ = 0)的变换:
[0067] A7X7=B
[0068] 其中,
Figure CN105563481BD00061
[0072] 上述方程利用了由步骤S301求取的内、外参数矩阵A,R,T。在给定(u,v)的情况下, 在求取了内、外参数后,根据上述方程求取X’ = [XY]T,则所求图像点(u,v)即对应方程的解 构成的世界坐标系点(X’,Z = O),
[0073] S40:将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作。
[0074] 以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并 不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员 来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保 护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1. 一种用于轴孔装配的机器人视觉引导方法,其特征在于,包括如下步骤: 利用工业相机对孔系工件进行拍照,获取孔系工件的图像数据,将图像数据传到上位 机; 上位机对所述图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的的中 心位置及半径的图像数据; 将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据; 将机器人坐标数据发送给机器人控制器,从而完成视觉引导工作; 所述上位机对图像数据进行图像处理和分析,得出孔系工件在图像上的各轴孔的中心 位置及半径的图像数据,具体步骤为:对图像数据进行平滑预处理,去除噪声;在预处理的 图像的基础上,对图像进行边缘提取,得到二值化图像;在边缘提取的基础上,提取图像中 各轴孔所对应圆的中心位置和半径;对检测到得圆做出进一步筛选,得出最佳的圆检测结 果; 所述在边缘提取的基础上,提取图像中各轴孔所对应圆的中心位置和半径;具体为: 将边缘提取的二值化图像空间的非零像素点变换到参数累加空间,取得参数累加空间 的最大值; 根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值; 根据所述阈值在累加空间提取检测到的圆; 所述根据阈值在累加空间提取检测到的圆,具体为:以最终累加空间中的累加值最大 点Amax作为基准,根据一定比率λ设定阈值为Amax*A,通过系数λ的调整以及对检测到的圆 做进一步筛选,得出最佳的圆检测结果; 所述得出最佳的圆检测结果,具体为: 设定一相似度距离V作为两个圆Cl (xl,yl,rl)和C2 (x2,y2,r2)相似的度量,如下定义: V= (x2~xi)2+ (y2~yi)2+ (r2~ri)2; 检测结果R设为空集合,对霍夫变换检测结果逐一扫描,若不在R中的某圆c与检测结果 R中的某一圆cr相似,相似度距离小于某阈值ν’,则认为两个圆相似,将两个圆中霍夫空间 累加值较大的保留在检测结果集合R中,若c与R中的任一圆都不相似,则将c加入到R中。
2. 如权利要求1所述的用于轴孔装配的机器人视觉引导方法,其特征在于,所述在预处 理的图像的基础上,对图像进行边缘提取的步骤具体为: 分别在图像的X方向和Y方向进行Sobel微分计算,得到两幅边缘提取图像; 对两幅边缘提取图像,逐点计算像素点平方和,得到一幅新的平方和图像; 计算所述平方和图像的均值; 将所述均值的倍数作为阈值,对平方和图像进行二值化,得到边缘提取的最终结果。
3. 如权利要求1所述的用于轴孔装配的机器人视觉引导方法,其特征在于,所述将上述 各轴孔的图像坐标数据转换为机器人坐标系的坐标数据,具体步骤为: 利用视觉标定原理求取工业相机的内、外参数; 对机器人坐标系进行零位标定; 根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参 数,求取工件轴孔像素点对应的机器人坐标。
CN201410632342.5A 2014-11-11 2014-11-11 一种用于轴孔装配的机器人视觉引导方法 Active CN105563481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410632342.5A CN105563481B (zh) 2014-11-11 2014-11-11 一种用于轴孔装配的机器人视觉引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410632342.5A CN105563481B (zh) 2014-11-11 2014-11-11 一种用于轴孔装配的机器人视觉引导方法

Publications (2)

Publication Number Publication Date
CN105563481A CN105563481A (zh) 2016-05-11
CN105563481B true CN105563481B (zh) 2018-06-29

Family

ID=55874389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410632342.5A Active CN105563481B (zh) 2014-11-11 2014-11-11 一种用于轴孔装配的机器人视觉引导方法

Country Status (1)

Country Link
CN (1) CN105563481B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106112505B (zh) * 2016-07-04 2018-07-24 清华大学 双轴孔装配系统及其控制方法
CN106182088B (zh) * 2016-07-05 2018-11-27 昆山华恒机器人有限公司 工业机器人及格子间的定位方法、装置
CN107584488A (zh) * 2016-07-08 2018-01-16 浙江星星冷链集成股份有限公司 一种机器人的视觉引导方法
CN106041937B (zh) * 2016-08-16 2018-09-14 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN106625594A (zh) * 2016-12-16 2017-05-10 南京熊猫电子股份有限公司 一种基于电磁编码器的机器人零位标定方法
CN107221004A (zh) * 2017-07-31 2017-09-29 中车株洲电机有限公司 一种电机机座的定位方法
CN109500591B (zh) * 2018-11-06 2021-01-26 智车优行科技(上海)有限公司 基于视觉定位的装配系统及装配方法和生产线
CN109202802B (zh) * 2018-11-14 2020-10-16 山东大学 一种用于卡合装配的视觉引导系统及方法
CN109940604A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 基于点云数据的工件三维定位系统及方法
CN109940606A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 基于点云数据的机器人引导系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6134675A (en) * 1984-07-27 1986-02-18 Hitachi Keiyo Eng Co Ltd Image recognizing method and its device
JPH04141384A (en) * 1990-09-30 1992-05-14 Daikin Ind Ltd Calibration method in positioning system using image processing device and device therefor
CN102128589B (zh) * 2010-01-20 2013-03-13 中国科学院自动化研究所 一种在轴孔装配中零件内孔方位误差的校正方法
CN102218652B (zh) * 2011-05-09 2012-11-21 无锡引域智能机器人有限公司 一种利用机器人的柔顺性实现轴孔装配的装置和方法

Also Published As

Publication number Publication date
CN105563481A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105563481B (zh) 一种用于轴孔装配的机器人视觉引导方法
DE102014212304B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium
CN104268857B (zh) 一种基于机器视觉的快速亚像素边缘检测与定位方法
CN105021124A (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN107424160B (zh) 通过视觉系统查找图像中线的系统和方法
CN105509671B (zh) 一种利用平面标定板的机器人工具中心点标定方法
CN103646377B (zh) 一种坐标转换方法及装置
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN106097316B (zh) 激光划片机图像识别系统的基板位置识别处理方法
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN103196514A (zh) 一种基于图像的微化工过程液位检测方法
CN106485749A (zh) 一种基于角点的矩形引脚元件粗定位方法
CN103745221A (zh) 一种二维码图像矫正方法
CN104460505A (zh) 工业机器人相对位姿估计方法
CN103644894A (zh) 一种复杂曲面目标识别及三维位姿测量的方法
CN108927805A (zh) 一种基于视觉补偿的机器人自动化插钉方法
CN103144443B (zh) 工业相机视觉精确定位控制系统
CN106529548A (zh) 亚像素级的多尺度Harris角点检测算法
CN105427282B (zh) 一种3d定位精度的测试方法和装置
CN103383574B (zh) 一种高精度运动补偿定位系统及高精度运动补偿定位方法
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
CN105118069A (zh) 一种复杂环境直线检测和筛选方法及应用该方法的机器人
JP2007249256A (ja) 物体検出方法
Anwar et al. Tracking the power port of remote radio unit (RRU) using computer vision
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant