CN106934813A - 一种基于视觉定位的工业机器人工件抓取实现方法 - Google Patents

Abstract

本发明涉及一种基于视觉定位的工业机器人工件抓取实现方法，包括以下步骤：通过固定的全局CCD摄像头，进行工件图像采集，并通过以太网接口，将工件图像信息传入机器人控制系统中；机器人控制系统对工件图像进行处理，获得工件位置矢量信息；机器人根据工件位置矢量信息，进行笛卡尔与关节坐标变换，实现末端手爪对工件进行定位夹取。本发明提供了一种工件位置信息计算方法，在对工件图像进行轮廓检测时，对已检测得到的所有图像进行轮廓区域筛选，删除孤立的、小段连续的边缘，剔除非目标轮廓，提高目标轮廓辨识精度；同时，在计算工件位置信息时，对工件长边进行判断，控制机器人抓取工件长边，避免机器人夹取短边可能导致的无法抓取，提高抓取效率。

Description

一种基于视觉定位的工业机器人工件抓取实现方法

技术领域

本发明涉及工业机器人工件抓取方法，具体涉及一种基于视觉定位的工业机器人工件抓取实现方法。

背景技术

工业机器人对工件的定位和抓取，决定了工业机器人的应用效率和可靠性，目前主要有在线示教、离线编程和基于视觉技术等三种方法。应用在线示教和离线编程方法进行工件定位，需要设计、制造、安装高精度的工件定位装置，尤其对于轮廓复杂的工件定位，定位装置设计复杂，既降低了定位抓取效率，又增加了应用成本。同时，当工件品种型号变化时，需要重新设计制造定位装置，限制了生产转型周期。基于视觉技术对工件在线识别与定位，利用视觉检测和图像处理的方法，不需要安装高精度的工件定位装置，即可快速、准确地获得工件位置信息，实现机器人对工件的定位和抓取，具有很好的实际应用价值。

图像处理是基于视觉识别与定位的关键环节，主要包括图像预处理、轮廓检测、获取位置矢量等步骤。现有的轮廓检测方法，常会得到孤立的、小段连续的非目标轮廓，干扰工件轮廓的正确检测，降低了检测效率和正确性；同时，采用传统的主轴法获取的工件位置矢量，由于没有考虑工件夹持方向，给机器人夹持带来不便甚至不能夹持。

在实现方法上，传统方法是将工件的图像检测和处理建立在一个专用的装置中，计算得到工件位置矢量数据后，再通过网口传入机器人控制系统中。该种实现方法不利于机器人控制系统模块集成，位置矢量数据的传输实时性和可靠性也差。

发明内容

针对现有技术中工业机器人定位抓取工件方法存在的效率低、准确性差以及不利于机器人控制系统集成及可靠性差等不足，本发明要解决的技术问题是提供一种基于视觉定位的工业机器人工件抓取实现方法。

本发明为实现上述目的所采用的技术方案是：一种基于视觉定位的工业机器人工件抓取实现方法，包括以下步骤：

通过固定的全局CCD摄像头，进行工件图像采集，并通过以太网接口，将工件图像信息传入机器人控制系统中；

机器人控制系统对工件图像进行处理，获得工件位置矢量信息；

机器人根据工件位置矢量信息，进行笛卡尔与关节坐标变换，实现末端手爪对工件进行定位夹取。

所述机器人控制系统对工件图像进行处理，获得工件位置矢量信息，包括以下步骤：

对工件图像进行预处理；

基于Canny算子对工件图像进行轮廓检测；

根据得到的工件连续轮廓，计算工件最小外接矩形，确定工件质心；

根据工件质心和主轴，对工件长边进行判断，并计算长边与水平轴的夹角；

所述工件质心和夹角构成工件位置矢量信息(X,Y,γ)。

所述对工件图像进行预处理，包括以下步骤：

采用加权平均值法对工件彩色图像进行灰度处理；

采用双边滤波方法对灰度值进行图像滤波；

将图像灰度进行二值化处理。

所述加权平均值法，具体为：

通过下式将RGB赋予不同的权值，

Gary＝W_R×R+W_G×G+W_B×B

其中，Gary为灰度化后的灰度值，W_R为红色通道的权值，R代表红色，W_G为绿色通道的权值，G代表绿色，W_B为蓝色通道的权值，B代表蓝色。

所述双边滤波通过下式进行滤波：

h_x(x)＝k^-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

其中，h_x(x)为滤波后像素点的灰度值，f(ξ)为灰度值函数，c(ξ-x)为中心点与其邻域内点的空间相似度，s(f(ξ)-f(x))为中心点与其邻域内点的灰度相似度，ξ为中心点，k为归一化系数，其表达式如下，

k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ

其中，k(x)是k的表达式。

所述基于Canny算子对工件图像进行轮廓检测，包括以下步骤：

通过高斯滤波器平滑图像，并对图像进行微分操作，计算得到图像梯度的方向和幅度；

在图像梯度方向上搜索图像中可能的边缘点，并剔除噪声边缘点；

再对检测得到的所有图像轮廓进行过滤，剔除非目标轮廓；

通过计算图像中检测得到的边缘轮廓的面积和周长，筛选轮廓区域，删除孤立的、相对较小的连续的边缘，得到连续的工件轮廓。

所述通过高斯滤波器平滑图像，并对图像进行微分操作，具体为：

其中，G(x,y)为二维高斯函数，σ为高斯函数的标准偏差，决定了高斯函数的宽度，(x，y)为像素的坐标点；

某一方向n上，G(x，y)的一阶方向导数为：

其中，n是方向矢量，▽G是梯度矢量，图像f(x,y)与G_n作卷积，同时改变n的方向，取G_n*f(x,y)最大时的n就正交与检测边缘的方向。

所述在图像梯度方向上搜索图像中可能的边缘点，通过“非极大抑制”方法搜索，如以下公式：

根据每点梯度方向上该点强度是否为其邻域的最大值，判断该点是否为边缘点。

所述剔除噪声边缘点采用双门限检测方法，具体为：

首先设置高低阈值和某像素点幅值，并做以下判断：

a)如果高于高阈值，则像素点保留为边缘像素；

b)如果低于低阈值，则排除该像素；

对于介于高低阈值之间的像素，仅在连接到高于高阈值像素点时被保留。

所述根据得到的工件连续轮廓，计算工件最小外接矩形，确定工件质心，包括以下步骤：

依次扫描图像中每列中目标的起始坐标(x_i1,y_i1)和终点坐标(x_i2,y_i2)，从而计算出该列内的目标重心(x_i,y_i)；

将目标的各列重心坐标(x_i,y_i)拟合成表示初始位置的水平主轴直线方程；

同理依次扫描各行，拟合出表示初始位置的垂直主轴直线方程；

将两直线联立得到的交点坐标作为旋转中心(x₀,y₀)；

保持水平主轴方向不变，向下平移至目标最下方点的位置，向上同理，以此确定初始外接矩形的上下边界；同理，找到初始外接矩形的左右边界，联立方程计算出水平和垂直方向两条平行线间的距离a和b，计算出其面积；

根据水平主轴和垂直主轴的斜率k₁、k₂算出对应角度β₁、β₂，进而得到主轴旋转区间β；

以工件轮廓形心为坐标原点，保持工件位置不变，以主轴为x'轴，以角度区间Δα旋转x轴至β角，如以下公式进行坐标变换，使主轴斜率保持一致；

x'＝p+cosα×x+sinα×y

y'＝q+sinα×x+cosα×y

求解出最小外接矩形的长和宽，并求出最小的面积，之后得到外接矩形在原坐标系下四个坐标点P₀、P₁、P₂、P₃，类比质心法，由以下公式可求得工件质心Center(X,Y)：

其中，n表示坐标点的个数，P_ix表示第i个坐标点x轴的值，P_i,y表示第i个坐标点y轴的值。

所述该列内的目标重心通过下式计算：

所述根据工件质心和主轴，对工件长边进行判断，并计算长边与水平轴的夹角，得到便于机器人抓取的工件位置矢量信息，具体为：

计算矩形一边与x轴的夹角：

θ＝tan^-1|k₁|+α

其中，k₁为表示初始位置的水平主轴直线的斜率，α为沿主轴旋转过程中工件的旋转角度；

判断该夹角是否是长边与水平轴的夹角，如果是，则工件抓取角度为：

γ＝θ

如果不是，则根据判断结果把角度统一转换为水平轴与长边的夹角，即工件抓取角度为：

本发明具有以下优点及有益效果：

1.本发明在对工件图像进行轮廓检测时，对已检测得到的所有图像进行轮廓区域筛选，删除孤立的、小段连续的边缘，剔除非目标轮廓，提高目标轮廓辨识精度；

2.在计算工件位置信息时，对工件长边进行判断，控制机器人抓取工件长边，避免机器人夹取短边可能导致的无法抓取，提高抓取效率。

附图说明

图1为实现本方法流程图；

图2为本发明方法中工件位置矢量数据算法流程图；

图3为本发明方法中工件位置矢量数据描述图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明基于视觉定位的工业机器人工件抓取实现方法包括以下步骤：

1、通过固定的全局CCD摄像头，进行工件图像采集，并通过以太网接口，将工件图像信息传入机器人控制系统中。

2、机器人控制系统对工件图像进行处理，获得工件位置矢量信息。

3、机器人根据工件位置矢量信息，进行笛卡尔与关节坐标变换，实现末端手爪对工件进行定位夹取。

如图2所示，工件图像处理与工件位置矢量计算过程如下：

1、对工件图像进行预处理。首先，采用加权平均值法对工件彩色图像进行灰度处理，避免最大值法和平均值法灰度处理后图像失真的问题，不仅保留了图像原有的信息，而且处理后的灰度图像边缘亮度噪声少，平滑效果好。在加权平均值算法中，如以下公式，RGB赋予不同的权值。

Gary＝W_R×R+W_G×G+W_B×B

然后，采用双边滤波方法对灰度值进行图像滤波，为下一步获得工件清晰轮廓做准备。在双边滤波计算中，如以下公式，

h_x(x)＝k^-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

其中，k为归一化系数，其表达式如以下公式，

k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ

式中h和x分别为滤波后和滤波前对应点的灰度值，c表示中心点与其邻域内点的空间相似度，s表示中心点与其邻域内点的灰度相似度。

再应用固定值二值化方法将图像灰度二值化，减少数据存储量。

2、采用基于Canny算子方法对工件图像进行轮廓检测。首先，通过高斯滤波器平滑图像，并对图像进行微分操作，计算得到图像梯度的方向和幅度。其中，高斯滤波和图像微分计算如以下公式，

某一方向n上G(x，y)的一阶方向导数为

其中n是方向矢量，▽G是梯度矢量，图像f(x，y)与G_n作卷积，同时改变n的方向，取最大时的n就正交与检测边缘的方向。

然后，通过“非极大抑制”方法在图像梯度方向上搜索图像中可能的边缘点，并采用双门限检测方法剔除噪声边缘点。其中，“非极大抑制”,如以下公式，

根据每点梯度方向上该点强度是否为其邻域的最大值，判断该点是否为边缘点。

双门限检测计算需要设置高低阈值和某像素点幅值，并做以下判断：

c)如果高于高阈值：像素点保留为边缘像素；

d)如果低于低阈值:排除该像素；

e)如果介于高低阈值之间的像素，仅在连接到高于高阈值像素点时被保留。

再对检测得到的所有图像轮廓进行过滤，剔除非目标轮廓。通过计算图像中检测得到的边缘轮廓的面积和周长，筛选轮廓区域，删除孤立的、小段连续的边缘，得到连续的工件轮廓。

3、根据得到的工件连续轮廓，采用主轴法计算工件最小外接矩形，确定工件质心。依次扫描图像中每列中目标的起始坐标(x_i1,y_i1)和终点坐标(x_i2,y_i2)，从而计算出该列内的目标重心，如以下公式

再将目标的各列重心坐标(x_i，y_i)拟合成表示初始位置的水平主轴直线方程，如以下公式

y＝k₁x+b₁

同理依次扫描各行，拟合出初始垂直主轴直线方程，如以下公式，

y＝k₂x+b₂

将两直线联立得到的交点坐标作为旋转中心(x₀，y₀)。

保持水平主轴方向不变向下平移至目标最下方点的位置，向上同理，以此确定初始外接矩形上下边界；根据水平主轴的斜率k₁确定其垂线斜率k₁′＝-k₁，过旋转中心(x₀，y₀)的垂线，如以下公式

y＝k₁′x+b₁′

应用同样的算法找到初始外接矩形的左右边界，联立方程计算出水平和垂直方向两条平行线间的距离a和b，计算出其面积。

根据水平主轴和垂直主轴的斜率k₁、k₂算出对应角度β₁、β₂，主轴旋转区间，如以下公式

β＝β₁-β₂

以工件轮廓形心为坐标原点，保持工件位置不变，以主轴为x'轴，以一定角度区间Δα旋转x轴至β角，如以下公式进行坐标变换，可使主轴斜率保持一致

x′＝p+cosα×x+sinα×y

y′＝q+sinα×x+cosα×y

旋转过程中在利用上述过程求解出最小外接矩形的长和宽，并求出最小的面积，之后得到外接矩形在原坐标系下四个坐标点P₀、P₁、P₂、P₃，类比质心法，由公式(8)、(9)可求得Center(X，Y)：

其中n表示坐标点的个数，P_i，x表示第i个坐标点x轴的值，P_i，y表示第i个坐标点y轴的值。

4、根据工件质心和主轴，对工件长边进行判断，并计算长边与水平轴的夹角，得到便于机器人抓取的工件位置矢量信息。如图3所示，在沿主轴旋转的过程中，可以得到旋转角α。此时矩形一边与x轴的夹角，如以下公式

θ＝tan^-1|k₁|+α

在初次得到角度数据后，判断是否是长边与水平轴的夹角，即判断a和b的大小。如果是与长边的夹角，则工件抓取角度_γ为

γ＝θ

如果不是与长边的夹角，根据判断结果把角度统一转换为水平轴与长边的夹角，即夹角γ，如以下公式

通过以上步骤计算得到工件质心和夹角，构成工件数据信息(x，y，γ)，即机器人末端手爪在笛卡尔坐标下的定位位置与姿态，经过笛卡尔和关节坐标变换，机器人控制末端手爪实心对工件的定位夹取。

Claims (12)

1.一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，包括以下步骤：

通过固定的全局CCD摄像头，进行工件图像采集，并通过以太网接口，将工件图像信息传入机器人控制系统中；

机器人控制系统对工件图像进行处理，获得工件位置矢量信息；

机器人根据工件位置矢量信息，进行笛卡尔与关节坐标变换，实现末端手爪对工件进行定位夹取。

2.根据权利要求1所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述机器人控制系统对工件图像进行处理，获得工件位置矢量信息，包括以下步骤：

对工件图像进行预处理；

基于Canny算子对工件图像进行轮廓检测；

根据得到的工件连续轮廓，计算工件最小外接矩形，确定工件质心；

根据工件质心和主轴，对工件长边进行判断，并计算长边与水平轴的夹角；

所述工件质心和夹角构成工件位置矢量信息(X,Y,γ)。

3.根据权利要求2所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述对工件图像进行预处理，包括以下步骤：

采用加权平均值法对工件彩色图像进行灰度处理；

采用双边滤波方法对灰度值进行图像滤波；

将图像灰度进行二值化处理。

4.根据权利要求3所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述加权平均值法，具体为：

通过下式将RGB赋予不同的权值，

Gary＝W_R×R+W_G×G+W_B×B

其中，Gary为灰度化后的灰度值，W_R为红色通道的权值，R代表红色，W_G为绿色通道的权值，G代表绿色，W_B为蓝色通道的权值，B代表蓝色。

5.根据权利要求3所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述双边滤波通过下式进行滤波：

h_x(x)＝k^-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

其中，h_x(x)为滤波后像素点的灰度值，f(ξ)为灰度值函数，c(ξ-x)为中心点与其邻域内点的空间相似度，s(f(ξ)-f(x))为中心点与其邻域内点的灰度相似度，ξ为中心点，k为归一化系数，其表达式如下，

k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ

其中，k(x)是k的表达式。

6.根据权利要求2所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述基于Canny算子对工件图像进行轮廓检测，包括以下步骤：

通过高斯滤波器平滑图像，并对图像进行微分操作，计算得到图像梯度的方向和幅度；

在图像梯度方向上搜索图像中可能的边缘点，并剔除噪声边缘点；

再对检测得到的所有图像轮廓进行过滤，剔除非目标轮廓；

通过计算图像中检测得到的边缘轮廓的面积和周长，筛选轮廓区域，删除孤立的、相对较小的连续的边缘，得到连续的工件轮廓。

7.根据权利要求6所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述通过高斯滤波器平滑图像，并对图像进行微分操作，具体为：

$G(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})$

其中，G(x,y)为二维高斯函数，σ为高斯函数的标准偏差，决定了高斯函数的宽度，(x，y)为像素的坐标点；

某一方向n上，G(x，y)的一阶方向导数为：

$G_n=\frac{\∂G}{\∂n}=n\▿G$

其中，n是方向矢量，▽G是梯度矢量，图像f(x,y)与G_n作卷积，同时改变n的方向，取G_n*f(x,y)最大时的n就正交与检测边缘的方向。

8.根据权利要求6所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述在图像梯度方向上搜索图像中可能的边缘点，通过“非极大抑制”方法搜索，如以下公式：

$\frac{\∂(G_n*f(x,y))}{\∂n}=0$

根据每点梯度方向上该点强度是否为其邻域的最大值，判断该点是否为边缘点。

9.根据权利要求6所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述剔除噪声边缘点采用双门限检测方法，具体为：

首先设置高低阈值和某像素点幅值，并做以下判断：

a)如果高于高阈值，则像素点保留为边缘像素；

b)如果低于低阈值，则排除该像素；

对于介于高低阈值之间的像素，仅在连接到高于高阈值像素点时被保留。

10.根据权利要求2所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述根据得到的工件连续轮廓，计算工件最小外接矩形，确定工件质心，包括以下步骤：

依次扫描图像中每列中目标的起始坐标(x_i1,y_i1)和终点坐标(x_i2,y_i2)，从而计算出该列内的目标重心(x_i,y_i)；

将目标的各列重心坐标(x_i,y_i)拟合成表示初始位置的水平主轴直线方程；

同理依次扫描各行，拟合出表示初始位置的垂直主轴直线方程；

将两直线联立得到的交点坐标作为旋转中心(x₀,y₀)；

保持水平主轴方向不变，向下平移至目标最下方点的位置，向上同理，以此确定初始外接矩形的上下边界；同理，找到初始外接矩形的左右边界，联立方程计算出水平和垂直方向两条平行线间的距离a和b，计算出其面积；

根据水平主轴和垂直主轴的斜率k₁、k₂算出对应角度β₁、β₂，进而得到主轴旋转区间β；

以工件轮廓形心为坐标原点，保持工件位置不变，以主轴为x'轴，以角度区间Δα旋转x轴至β角，如以下公式进行坐标变换，使主轴斜率保持一致；

x'＝p+cosα×x+sinα×y

y'＝q+sinα×x+cosα×y

求解出最小外接矩形的长和宽，并求出最小的面积，之后得到外接矩形在原坐标系下四个坐标点P₀、P₁、P₂、P₃，类比质心法，由以下公式可求得工件质心Center(X,Y)：

$\begin{array}{cc}X=\frac{{\mathrm{\Σ}}_{i=0}^n{P}_{i,x}}{n}& Y=\frac{{\mathrm{\Σ}}_{i=0}^n{P}_{i,y}}{n}\end{array}$

其中，n表示坐标点的个数，P_ix表示第i个坐标点x轴的值，P_i,y表示第i个坐标点y轴的值。

11.根据权利要求10所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述该列内的目标重心通过下式计算：

$x_i=\frac{x_{i1}+x_{i2}}{2},y_i=\frac{y_{i1}+y_{i2}}{2}$

12.根据权利要求2所述的一种基于视觉定位的工业机器人工件抓取实现方法，其特征在于，所述根据工件质心和主轴，对工件长边进行判断，并计算长边与水平轴的夹角，得到便于机器人抓取的工件位置矢量信息，具体为：

计算矩形一边与x轴的夹角：

θ＝tan^-1|k₁|+α

其中，k₁为表示初始位置的水平主轴直线的斜率，α为沿主轴旋转过程中工件的旋转角度；

判断该夹角是否是长边与水平轴的夹角，如果是，则工件抓取角度为：

γ＝θ

如果不是，则根据判断结果把角度统一转换为水平轴与长边的夹角，即工件抓取角度为：

$\mathrm{\γ}=\frac{\mathrm{\π}}{2}+\mathrm{\θ}$