CN105563481A - 一种用于轴孔装配的机器人视觉引导方法 - Google Patents

Abstract

本发明提供了一种用于轴孔装配的机器人视觉引导方法，利用工业相机对孔系工件进行拍照，获取孔系工件的图像数据，将图像数据传到上位机；上位机对图像数据进行图像处理和分析，得出孔系工件在图像上的各轴孔的中心位置及半径的图像数据；将各轴孔的图像坐标数据转换为机器人坐标系的坐标数据；将机器人坐标数据发送给机器人控制器，从而完成视觉引导工作。该方法提高了工业机器人智能装配的准确性、稳定性，提高了其自动化程度。

Description

一种用于轴孔装配的机器人视觉引导方法

技术领域

本发明涉及机器人控制领域，具体涉及一种用于轴孔装配的机器人视觉引导方法。

背景技术

在现代制造业中，工业机器人被广泛的应用于各种生产需求，如焊接、喷涂、码垛、装配等。它不仅能将工人从繁杂的劳动任务中解放出来，而且同时也提高了产品的质量和生产线的自动化水平，大大地提高了工作效率。特别地，在零件装配生产任务中，多轴孔装配任务是常见的任务类型之一。在此情况下，多对轴孔同时存在装配关系，工业机器人被要求自动准确定位，同时满足正确的装配对应关系。更重要地，需要避免两工件发生碰撞从而导致缺陷。因此可知，多轴孔装配任务的自动化水平要求很高。

鉴于以上需求，人们提出了利用机器视觉进行智能装配的视觉引导技术方法。机器视觉是利用电子相机产生的图像信息，为机器增加视觉功能的技术。它具有信息量丰富、非接触测量和处理手段多样等优点，被大量地用于在机器人自动化领域，人们针对利用机器视觉系统指导装配过程已经开展了一定的工作。如，於明亮等提出的被动装配研究方案，陈兴洲等提出的定位检测算法等。目前，机器视觉在智能装配领域应用较少，且方法手段还较为初级，针对智能装配，特别是多轴孔装配的自动化，高精度要求还难以满足。

发明内容

本发明所要解决的技术问题是提供一种轴孔装配的机器人视觉引导方法，以满足现有技术中高精度，低成本的需求。

为达到上述目的，本发明提供如下的技术方案：

利用工业相机对孔系工件进行拍照，获取孔系工件的图像数据，将图像数据传到上位机；

上位机对所述图像数据进行图像处理和分析，得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据；

将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据；

将机器人坐标数据发送给机器人控制器，从而完成视觉引导工作。

优选的，上位机对所述图像数据进行图像处理和分析，得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据，具体步骤为：

对图像数据进行平滑预处理，去除噪声；

在预处理的图像的基础上，对图像进行边缘提取；

在边缘提取的基础上，提取图像中各轴孔所对应圆的中心位置和半径；

对检测到得圆做出进一步筛选，得出最佳的圆检测结果。

优选的，在预处理的图像的基础上，对图像进行边缘提取的步骤具体为：

分别在图像的X方向和Y方向进行Sobel微分计算，得到两幅边缘提取图像；

对两幅边缘提取图像，逐点计算像素点平方和，得到一幅新的平方和图像；

计算所述平方和图像的均值；

将所述均值的倍数作为阈值，对平方和图像进行二值化，得到边缘提取的最终结果。

优选的，在边缘提取的基础上，提取图像中各轴孔所对应圆的中心位置和半径，具体为：

将边缘提取的二值化图像空间的非零像素点变换到参数累加空间，取得参数累加空间的最大值；

根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值；

根据所述阈值在累加空间提取检测到的圆。

优选的，所述将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据，具体步骤为：

利用视觉标定原理求取工业相机的内、外参数；

对机器人坐标系进行零位标定；

根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参数，求取工件轴孔像素点对应的机器人坐标。

本发明所提供的一种用于轴孔装配的机器人视觉引导方法，利用工业相机为机器人增加视觉功能，即通过工业相机所采集的图像获得工作场景图像，通过以上所述图像处理分析功能获得图像中有用的视觉信息，在利用视觉信息驱动机器人朝目标运动。机器视觉功能要求相机的坐标系与机器人的坐标系相一致，只有这样才能在机器视觉和机器人运动之间建立一致性联系，从而达到“手眼协调”，提高工业机器人智能装配的准确性、稳定性，提高了其自动化程度。

附图说明

图1为本发明实施例提供的一种用于轴孔装配的机器人视觉引导方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种用于轴孔装配的机器人视觉引导方法，包括如下步骤：

S10：利用工业相机对孔系工件进行拍照，获取孔系工件的图像数据，将图像数据传到上位机。

利用工业相机对孔系工件进行拍照，获取图像数据，相机将图像数据经千兆以太网传到上位机。

S20：上位机对所述图像数据进行处理和分析，得出孔系工件在图像上各轴孔的中心位置及半径的图像数据。

为了达成步骤S20的目标，需对图像数据进行如下处理，包括如下步骤：

S201:对图像数据进行平滑预处理，去除噪声；

S202：在预处理的图像的基础上，对图像进行边缘提取；

利用图像边缘算子，对图像进行边缘提取，具体方法为：

S2021：分别在图像的X方向和Y方向进行Sobel微分计算，得到两幅边缘提取图像。

其中，X方向和Y方向的Sobel算子分别为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right].$

S2022：对两幅边缘提取图像，逐点计算像素点平方和，得到一幅新的平方和图像；

假设图像数据为Ixy，得到的X方向和Y方向的边缘提取图像为Ix和Iy，则所得到的平方和图像I为

$I=I_x^2+I_y^2$

S2023：计算所述平方和图像的均值。

得到的为I的均值Imean。

S2024：将所述均值的倍数作为阈值，对平方和图像进行二值化，得到边缘提取的最终结果。

此处，均值的倍数为可调参数，通常取3。

S203：在边缘提取的基础上，提取图像中各轴孔所对应圆的中心位置和半径。

此处，利用霍夫变换原理，在边缘提取的基础上，提取图像中各轴孔所对应圆的中心位置和半径。霍夫变换是利用图形在图像原空间和图形参数空间的对偶关系，在参数空间中检测图像中图形的一种理论方法。可以用来检测直线、圆、椭圆等各种图形。

S2031：将边缘提取的二值化图像空间的非零像素点变换到参数累加空间，取得参数累加空间的最大值。

S2032：根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值；

S2033：根据所述阈值在累加空间提取检测到的圆。

在根据最终累加空间中的累加值最大点Amax作为基准，根据一定比率λ设定阈值为Amax*λ，在累加空间中选取大于阈值的点作为可能的候选圆。假设三位空间中某点(x*,y*,r*)的累加值大于阈值，则意味着在二值图像的(x*，y*)点处存在着一个半径为r*的圆。霍夫变换的最终结果为一组这样的圆构成的集合。

S204：对检测到得圆做出进一步筛选，得出最佳的圆检测结果。

具体为：设定一相似度距离v作为两个圆C1(x1,y1,r1)和C2(x2,y2,r2)相似的度量,如下定义：

v＝(x₂-x₁)²+(y₂-y₁)²+(r₂-r₁)²，

首先，检测结果R设为空集合；然后对霍夫变换检测结果逐一扫描，若不在R中的某圆c与检测结果R中的某一圆cr相似(相似度距离小于某阈值v’)，则认为两个圆相似，将两个圆中霍夫空间累加值较大的保留在检测结果集合R中，若c与R中的任一圆都不相似，则将c加入到R中。

S30：将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据。

具体步骤为：

S301：利用视觉标定原理求取工业相机的内、外参数；

采用张正友的相机标定方法求取相机的内、外参数A和R、T。采用棋盘格作为3维标定物，以棋盘格为Z＝0平面，设有M行N列棋盘格的角点，坐标值为(0,0),(0,1),…,(M,N)，单位为棋盘格数，采集多幅图像后，根据棋盘格图像角点坐标与棋盘格坐标的对应关系，求取相机的内、外参数A,R,T。

S302：对机器人坐标系进行零位标定。

以棋盘格的(0,0)点示教为机器人的零点，以棋盘格的x增长方向设定为机器人的x方向，以棋盘格的y增长方向设定为机器人的y方向对机器人坐标系进行零位标定，使机器人坐标的零点位置与工业相机的图像坐标零位相一致，以及使机器人坐标的坐标轴方向与工业相机的坐标轴方向相一致。

S303：根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参数，求取工件轴孔像素点对应的机器人坐标。

根据以下方程的求解来完成由(u,v)到(X,Y,Z＝0)的变换：

A′X′＝B

其中，

$A^{\′}=\left|\begin{array}{cc}{r}_{11}-\frac{u-c_x}{f_x}*r_{31}& r_{12}-\frac{u-c_x}{f_x*r_{32}}\\ r_{21}-\frac{v-c_y}{f_y}*r_{31}& r_{22}-\frac{v-v_y}{f_y}*r_{32}\end{array}\right|,$

$B=\left|\begin{array}{c}\frac{u-c_x}{f_x}*t_3-t_1\\ \frac{v-c_y}{f_y}*t_3-t_2\end{array}\right|$

和 $X^{\′}=\left[\begin{array}{c}X\\ Y\end{array}\right].$

上述方程利用了由步骤S301求取的内、外参数矩阵A,R,T。在给定(u,v)的情况下，在求取了内、外参数后，根据上述方程求取X’＝[XY]T,则所求图像点(u,v)即对应方程的解构成的世界坐标系点(X’,Z＝0)，

S40：将机器人坐标数据发送给机器人控制器，从而完成视觉引导工作。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种用于轴孔装配的机器人视觉引导方法，其特征在于，包括如下步骤：

利用工业相机对孔系工件进行拍照，获取孔系工件的图像数据，将图像数据传到上位机；

上位机对所述图像数据进行图像处理和分析，得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据；

将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据；

将机器人坐标数据发送给机器人控制器，从而完成视觉引导工作。

2.如权利要求1所述的用于轴孔装配的机器人视觉引导方法，其特征在于，所述上位机对所述图像数据进行图像处理和分析，得出孔系工件在图像上的各轴孔的的中心位置及半径的图像数据，具体步骤为：

对图像数据进行平滑预处理，去除噪声；

在预处理的图像的基础上，对图像进行边缘提取；

在边缘提取的基础上，提取图像中各轴孔所对应圆的中心位置和半径；

对检测到得圆做出进一步筛选，得出最佳的圆检测结果。

3.如权利要求2所述的用于轴孔装配的机器人视觉引导方法，其特征在于，所述在预处理的图像的基础上，对图像进行边缘提取的步骤具体为：

分别在图像的X方向和Y方向进行Sobel微分计算，得到两幅边缘提取图像；

对两幅边缘提取图像，逐点计算像素点平方和，得到一幅新的平方和图像；

计算所述平方和图像的均值；

将所述均值的倍数作为阈值，对平方和图像进行二值化，得到边缘提取的最终结果。

4.如权利要求2所述的用于轴孔装配的机器人视觉引导方法，其特征在于，所述在边缘提取的基础上，提取图像中各轴孔所对应圆的中心位置和半径，具体为：

将边缘提取的二值化图像空间的非零像素点变换到参数累加空间，取得参数累加空间的最大值；

根据一定比率和累加空间的最大累加值得到在参数累加空间提取圆的阈值；

根据所述阈值在累加空间提取检测到的圆。

5.如权利要求1所述的用于轴孔装配的机器人视觉引导方法，其特征在于，所述将上述各轴孔的图像坐标数据转换为机器人坐标系的坐标数据，具体步骤为：

利用视觉标定原理求取工业相机的内、外参数；

对机器人坐标系进行零位标定；

根据所述的工业相机内、外参数确定从图像坐标到机器人坐标的变换过程公式及参数，求取工件轴孔像素点对应的机器人坐标。