CN110625644A - 一种基于机器视觉的工件抓取方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的工件抓取方法，属于工业机器人抓取技术领域，包括离线操作步骤和实时在线操作步骤。离线操作步骤包括：采集工件图像得到工件边缘轮廓并计算工件中心点，经优化得到精确的工件外轮廓并计算工件的定位点以及初始角度β。根据工件边缘轮廓与其对应的初始角度β形成数据库。在线操作步骤包括：采集工件实时图像得到工件边缘轮廓同时计算当前工件的初始角度β'。将实时得到的工件边缘轮廓与数据库中工件轮廓进行匹配，得到机器人末端关节抓取工件的相对旋转角度和机器人末端关节转动方向，机器人以此进行工件抓取。本发明是提供一种基于机器视觉的工件抓取方法，能够使机器人精确定位工件位置并进行有效抓取。

Description

一种基于机器视觉的工件抓取方法

技术领域

本发明涉及一种基于机器视觉的工件抓取方法，属于工业机器人抓取技术领域。

背景技术

随着机器人与视觉技术的应用与发展，越来越多的更加智能化的机器人系统逐渐代替人工完成重复繁杂劳动。随着图像处理技术和芯片技术的发展，机器视觉成为了当前机器人提供其自主智能化程度的最主要工具。机床加工的工件上下料属于劳动密集型重复性工作，利用机器人代替人工不仅可以实现全天候不间断工作提供产能。机器人系统上下料中，机器人需要精确定位到工件的位置与姿态。工件位置可通过机械进行限位，但工件的相对旋转角度难以限制。若对于工件的位置与姿态不能够精确定位，则会降低机器人的夹取效率。机械加工及安装误差以及设备运行时，因振动造成的工件上表面与相机成像面不平行而导致工件外轮廓变形，从而影响机器人的夹取。

发明内容

本发明是提供一种基于机器视觉的工件抓取方法，能够使机器人精确定位工件位置并进行有效抓取。

为达到上述目的，本发明所采用的技术方案是：一种基于机器视觉的工件抓取方法，包括以下步骤：a.采集工件图像得到工件边缘轮廓并计算工件中心点(C_x,C_y)；b.采用轮廓校正算法，得到精确的工件外轮廓；c.通过所述精确的工件外轮廓计算工件的定位点；d.根据工件中心点(C_x,C_y)与定位点计算得到初始角度β，所述初始角度β为定位点与工件中心点(C_x,C_y)连线与y＝C_y的夹角；e.根据工件边缘轮廓与其对应的初始角度β形成数据库；f.采集工件实时图像得到工件边缘轮廓，将实时得到的工件边缘轮廓与数据库中工件轮廓进行匹配，并得到与数据库中工件轮廓对应的初始角度β；根据步骤a到d，计算得到当前工件的初始角度β'；g.将计算得到的所述当前工件的初始角度β'减去初始角度β，得到机器人末端关节抓取工件的相对旋转角度；机器人末端关节根据预设方向旋转，抓取工件。

进一步地，所述采集工件图像得到工件边缘轮廓包括以下步骤：采用工业相机以及条形光源对工件进行图像采集；进行图像预处理；采用边缘检测算法与先验知识算法，获得工件外轮廓；将工件边缘轮廓坐标(x_i,y_i)转换为极坐标(θ_i，r_i)。

进一步地，所述图像预处理包括以下步骤：将采集到的工件图像进行灰度处理，得到工件灰度图；对所述工件灰度图初步去噪；去噪后的工件灰度图通过阈值分割方法得到二值化图像；对二值化图像进行图像的形态学操作进一步滤除噪声。

进一步地，所述极坐标(θ_i，r_i)通过公式(1)和公式(2)计算得到：

x_i＝C_x+r_icos(θ_i) (1)

y_i＝C_y+r_isin(θ_i) (2)

其中，i＝1,…,N，N表示提取的轮廓点数，θ_i∈[-π,π]，i＝1,…,N。

进一步地，所述轮廓校正算法包括以下步骤：计算得到工件外轮廓极坐标轮廓点中直线段的表达式；将该直线段带入到定位点所在弧形段，得到优化的工件外轮廓坐标(θ_m，)。

进一步地，所述优化的工件外轮廓坐标(θ_m，)由公式(3)得到：

其中，a为拟合直线的斜率，b为拟合直线的截距，m＝k₂,k₂+1,…,k₂+n₂，k₂,k₂+n₂∈[1,N]，k₂,n₂是正整数，为校正后的工件外轮廓弧形段的坐标。

进一步地，所述计算工件的定位点，包括以下步骤：对精确的工件外轮廓的多个顶角进行定位，得到各顶角的坐标以及各顶角的局部区域；利用最小二乘拟合计算每个所述局部区域对应的最高点的坐标；对计算得出的多个所述最高点的坐标做平均值，所述平均值坐标即为定位点。

进一步地，所述预设方向为：若相对旋转角度为正值，则机器人末端关节朝逆时针方向转动|β'-β|后抓取；若相对旋转角度为负值，则机器人末端关节朝顺时针方向转动|β'-β|后抓取。

本发明通过轮廓校正算法对轮廓进行校正，有效解决了机械加工及安装误差以及设备运行时，因振动造成的工件上表面与相机成像面不平行而导致的工件外轮廓变形问题。本发明通过校正后的轮廓，可得到更加精确的相对旋转角度，为机器人夹取工件提供精确稳定的角度信息，从而提高机器人夹取效率。

本发明通过建立工件轮廓及对应初始角度的数据库，因此可适用于多种形状的工件，适用范围更广。

附图说明

图1为本发明实施例中数据库建立的流程示意图；

图2显示了本发明实施例中工件抓取流程示意图；

图3为本发明实施例中采集到的原始工件轮廓灰度图；

图4为本发明实施例中经过优化处理后的工件外轮廓及顶角；

图5为本发明实施例的未校正的工件轮廓检测结果图；

图6是为本发明实施例的工件局部轮廓变形校正示意图。

具体实施方式

为了更好的理解本发明的实质，下面结合具体实施例和附图对本发明作进一步的阐述。

本发明公开了一种基于机器视觉的工件抓取方法，适用于工业机器人抓取技术领域，具体步骤如图1，图2所示：

步骤1，采用工业相机以及条形光源对工件进行图像采集，将采集到的工件图像进行灰度处理，得到工件灰度图，如图3所示。对工件灰度图利用高斯模糊处理初步去噪。去噪后的工件灰度图通过阈值分割方法得到二值化图像，对得到的二值化图像进行图像的形态学操作进一步滤除噪声。采用边缘检测算法与先验知识算法，获得工件外轮廓(x_i，y_i),i＝1,…,N，N是轮廓点的个数，如图4所示。

将工件边缘轮廓坐标(x_i,y_i)转换为极坐标(θ_i，r_i)：

设(θ,r)表示图像中工件外轮廓的二维坐标，(C_x,C_y)表示工件的中心坐标，此中心坐标(C_x,C_y)通过工件内圆与外圆拟合计算并做平均得到，以(C_x,C_y)为坐标中心，将工件轮廓坐标(x_i,y_i)转换为极坐标(θ_i，r_i)，具体关系式如下：

x_i＝C_x+r_icos(θ_i) (1)

y_i＝C_y+r_isin(θ_i) (2)

其中i＝1,…,N，N表示提取的轮廓点数，θ_i∈[-π,π]，i＝1,…,N。

步骤2，由于受到工件上表面与相机成像面不平行等因素的影响，工件外轮廓会产生变形，极坐标下的计算结果会出现倾斜从而引起误差，如图5所示。为此利用定位点区域外的近似直线段拟合弧度角与半径的直线，并将该直线带入到定位点弧度区域进行校正，得到更准确的工件外轮廓。对获得的外轮廓采用轮廓校正算法，得到精确的工件外轮廓，校正后的外轮廓如图6所示。

轮廓校正算法包括以下步骤：

a.令(θ_j,r_j)表示极坐标轮廓点中直线段A的离散坐标点，(θ_m,r_m)表示极坐标轮廓点中弧形段上的离散坐标点，(θ_t,r_t)表示极坐标轮廓点中直线段B的离散坐标点；其中，j＝k₁,k₁+1,…,k₁+n₁，m＝k₂,k₂+1,…,k₂+n₂，t＝k₃,k₃+1,…,k₃+n₃；k₁,k₂,k₃,n₁,n₂,n₃是正整数，且k₁,k₂,k₃,k₁+n₁,k₂+n₂,k₃+n₃∈[1,…,N]。

b.根据公式(1)对直线段A和直线段B进行最小二乘拟合，计算出常数a和b的值：

其中，a为拟合直线的斜率，b为拟合直线的截距。

c.分别计算直线段A和直线段B的表达式:

r_Aj＝aθ_j+b (4)

r_Bt＝aθ_t+b (5)

d.弧线段C利用公式(4)进行校正：

其中，m＝k₂,k₂+1,…,k₂+n₂，为校正后的工件外轮廓弧形段的坐标。

由于θ_m和校正的θ_m/a-b/a为离散值，因此在计算过程中θ_m/a-b/a若位于θ_m和θ_m+1之间，可利用线性插值方法得到r_m(θ_m/a-b/a)。

步骤3，通过精确的工件外轮廓计算得到工件的定位点：

(1)对精确的工件外轮廓的多个顶角进行定位，得到各顶角的坐标以及各顶角的局部区域，如图4所示，得到工件六个顶角及其对应的局部区域。

(2)利用最小二乘拟合计算每个局部区域对应的最高点的坐标。

(3)对计算得出的六个最高点的坐标做平均值，得到定位点坐标。对多个最高点计算平均值的目的在于进一步提高旋转角度的计算精度与稳定性。

步骤4，计算初始角度β，并将此工件边缘轮廓对应的初始角度β保存，形成数据库。初始角度β为定位点与工件中心点(C_x,C_y)连线与y＝C_y的夹角。

步骤5，机器人开始工作时，采集工件实时图像得到工件边缘轮廓，将实时得到的工件边缘轮廓与数据库中工件轮廓进行匹配，并得到与数据库中工件轮廓对应的初始角度β。采用步骤1至步骤4的方法，计算得到当前工件的初始角度β'；

步骤6，将计算得到的需抓取工件的初始角度β'减去初始角度β，得到机器人末端关节抓取工件的相对旋转角度和机器人末端关节转动方向，机器人末端关节根据预设方向旋转，抓取工件：

若相对旋转角度为正值，则机器人末端关节朝逆时针方向转动|β'-β|后抓取；

若相对旋转角度为负值，则机器人末端关节朝顺时针方向转动|β'-β|后抓取。

应当指出，虽然通过上述实施方式对本发明进行了描述，然而本发明还可有其它多种实施方式。在不脱离本发明精神和范围的前提下，熟悉本领域的技术人员显然可以对本发明做出各种相应的改变和变形，但这些改变和变形都应当属于本发明所附权利要求及其等效物所保护的范围内。

Claims (8)

1.一种基于机器视觉的工件抓取方法，其特征在于，包括以下步骤：

a.采集工件图像得到工件边缘轮廓并计算工件中心点(C_x,C_y)；

b.采用轮廓校正算法，得到精确的工件外轮廓；

c.通过所述精确的工件外轮廓计算工件的定位点；

d.根据工件中心点(C_x,C_y)与定位点计算得到初始角度β，所述初始角度β为定位点与工件中心点(C_x,C_y)连线与y＝C_y的夹角；

e.根据工件边缘轮廓与其对应的初始角度β形成数据库；

f.采集工件实时图像得到工件边缘轮廓，将实时得到的工件边缘轮廓与数据库中工件轮廓进行匹配，并得到与数据库中工件轮廓对应的初始角度β；根据步骤a到d，计算得到当前工件的初始角度β'；

g.将计算得到的所述当前工件的初始角度β'减去初始角度β，得到机器人末端关节抓取工件的相对旋转角度；机器人末端关节根据预设方向旋转，抓取工件。

2.根据权利要求1所述基于机器视觉的工件抓取方法，其特征在于，

所述采集工件图像得到工件边缘轮廓包括以下步骤：

采用工业相机以及条形光源对工件进行图像采集；

进行图像预处理；

采用边缘检测算法与先验知识算法，获得工件外轮廓；

将工件边缘轮廓坐标(x_i,y_i)转换为极坐标(θ_i，r_i)。

3.根据权利要求2所述基于机器视觉的工件抓取方法，其特征在于，

所述图像预处理包括以下步骤：

将采集到的工件图像进行灰度处理，得到工件灰度图；

对所述工件灰度图初步去噪；

去噪后的工件灰度图通过阈值分割方法得到二值化图像；

对二值化图像进行图像的形态学操作进一步滤除噪声。

4.根据权利要求2所述基于机器视觉的工件抓取方法，其特征在于，

所述极坐标(θ_i，r_i)通过公式(1)和公式(2)计算得到：

x_i＝C_x+r_i cos(θ_i) (1)

y_i＝C_y+r_i sin(θ_i) (2)

其中，i＝1,…,N，N表示提取的轮廓点数，θ_i∈[-π,π]，i＝1,…,N。

5.根据权利要求1所述基于机器视觉的工件抓取方法，其特征在于，

所述轮廓校正算法包括以下步骤：

计算得到工件外轮廓极坐标轮廓点中直线段的表达式；

将该直线段带入到定位点所在弧形段，得到优化的工件外轮廓坐标

6.根据权利要求5所述基于机器视觉的工件抓取方法，其特征在于：

所述优化的工件外轮廓坐标由公式(3)得到：

其中，a为拟合直线的斜率，b为拟合直线的截距，m＝k₂,k₂+1,…,k₂+n₂，k₂,k₂+n₂∈[1,N]，k₂,n₂是正整数，为校正后的工件外轮廓弧形段的坐标。

7.根据权利要求1所述基于机器视觉的工件抓取方法，其特征在于：

所述计算工件的定位点，包括以下步骤：

对精确的工件外轮廓的多个顶角进行定位，得到各顶角的坐标以及各顶角的局部区域；

利用最小二乘拟合计算每个所述局部区域对应的最高点的坐标；

对计算得出的多个所述最高点的坐标做平均值，所述平均值坐标即为定位点。

8.根据权利要求1所述基于机器视觉的工件抓取方法，其特征在于：

所述预设方向为：

若相对旋转角度为正值，则机器人末端关节朝逆时针方向转动|β'-β|后抓取；

若相对旋转角度为负值，则机器人末端关节朝顺时针方向转动|β'-β|后抓取。