CN111932490A - 一种用于工业机器人的视觉系统抓取信息提取方法 - Google Patents

Abstract

本发明公开了一种用于工业机器人的视觉系统抓取信息提取方法，包括如下步骤：（1）输入采集的待抓取件的图像；（2）对图像进行预处理；（3）绘制待抓取件的轮廓，提取轮廓点集；（4）根据的轮廓点集计算轮廓面积，按面积大小对待抓取件进行区分；（5）根据待抓取件的类型提取待抓取件的抓取点O的坐标；（6）根据待抓取件的类型提取待抓取件的抓取角度。

Description

一种用于工业机器人的视觉系统抓取信息提取方法

技术领域

本发明涉及工业机器人，尤其涉及用于工业机器人的视觉系统抓取信息提取方法。

背景技术

在实际工业应用场景中，机器人抓取—放置一直是自动化生产线上普遍且关键的支撑性任务，因此也成为国内外研究者及各大产商的研究热点。特别是机器视觉技术的引入以及5G等信息化技术的飞速发展，装备视觉传感器的工业机器人已经成为机器人产业的新兴领域，在工业生产中有着广泛的研究及较为成熟的应用。

Mahler等人提出了一种基于深度学习的方法，该方法应用合成点云和抓取指标来规划一个可靠的抓取方式。他们首先从深度图像中分割出当前的兴趣点，并生成多个候选抓取点。然后计算抓取质量，并选择质量最高的作为最终的抓取点。

Lenz等人提出了由两个深度网络构成的两阶段级联系统，其中第一个的顶部检测结果由第二个重新评估。第一个网络具有较少的功能，运行速度更快，并且可以有效地减少可能性较低的候选抓取方式。第二个功能更多，速度较慢，但只在前几个检测上运行。虽然其精度很高，但迭代扫描的方式仍使其过程非常缓慢。

Vahrenkamp等人提出了一种基于零件抓取规划的方法来生成适用于多个相似物体的抓取方式。他们根据物体模型的形状和体积信息对物体模型进行细分，并对物体各部分进行语义和抓取信息标记。同时提出了一种可转移性度量方法，对于归于相似物体类别中的新的抓取对象，此方法可以用来评估其设定抓取方式的适用程度。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何为工业机器人提供一套鲁棒性高，耗时短的图像处理方案。

为实现上述目的，本发明提供了一种用于工业机器人的视觉系统抓取信息提取方法，包括如下步骤：

(1)输入采集的待抓取件的图像；

(2)对图像进行预处理；

(3)绘制待抓取件的轮廓，提取轮廓点集；

(4)根据的轮廓点集计算轮廓面积，按面积大小对待抓取件进行区分；

(5)根据待抓取件的类型提取待抓取件的抓取点O的坐标；

(6)根据待抓取件的类型提取待抓取件的抓取角度。

进一步地，步骤(1)中的待抓取件为包括T型、L型和Y型的管接件。

更进一步地，步骤(2)包括对图像进行开运算、边缘检测、闭运算。

更进一步地，的边缘检测为Canny边缘检测。

更进一步地，步骤(4)中根据如下公式设置面积阈值，从而将管接件区分为的T型、L型和Y型：

其中S_TL为T型与L型管接件的轮廓面积阈值，S_LY为L型与Y型管接件的轮廓面积阈值，s_T，s_L，s_Y分别为T型、L型和Y型的轮廓面积。

更进一步地，步骤(5)包括以下步骤：通过图像分割获取抓取点O所在的待抓取件的接头端的轮廓及端点；确定接头端上以抓取点O为中心的矩形的四个端点A、 B、C和D点的坐标；根据A、B、C和D点的坐标确定其中心点即抓取点O的坐标。

更进一步地，对T型和L型待抓取件使用凸包与凸缺陷检测方法以对其进行的图像分割；对Y型待抓取件使用最小轮廓包围矩形检测以对其进行的图像分割。

更进一步地，对接头端的轮廓进行凸包与凸缺陷检测，进一步筛选得到的A、B、 C、D点坐标。

更进一步地，待抓取件的放置平面与工业机器人的末端法兰盘的中轴线垂直，的抓取角度被定义为工业机器人的第六轴转角。

更进一步地，对于Y型待抓取件，进行最小轮廓包围矩形检测，抓取角度θ由下式确定：

其中α为矩形的角度，h为矩形框高度，w为矩形框宽度；

对于T型待抓取件，进行最小轮廓包围矩形检测和最小轮廓包围圆形检测，抓取角度θ由下式确定：

其中(x_r,y_r)为矩形中心标识点R坐标，(x_c,y_c)为圆形中心标识点C坐标；

对于L型待抓取件，过的A、B两点作直线l，抓取角度θ由下式确定：

θ＝arctank_l

其中k_l为直线l的斜率。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例中的总流程图；

图2是本发明的一个较佳实施例中的图像预处理的流程图；

图3是本发明的一个较佳实施例中的对图像进行开运算的前后对比图；

图4是本发明的一个较佳实施例中的对图像进行闭运算的前后对比图；

图5是本发明的一个较佳实施例中的对图像进行边缘检测后的结果图；

图6是本发明的一个较佳实施例中的抓取点的确定示意图；

图7是本发明的一个较佳实施例中的对图像进行凸包检测的结果示意图；

图8是本发明的一个较佳实施例中的管接件的接头标识图；

图9是本发明的一个较佳实施例中的抓取点的定位流程图；

图10是本发明的一个较佳实施例中的T型和L型零件轮廓凸缺陷检测结果示意图；

图11是本发明的一个较佳实施例中的Y型零件分割方法示意图；

图12是本发明的一个较佳实施例中的接头端图像分割结果示意图；

图13是本发明的一个较佳实施例中的接头端轮廓凸包与凸缺陷检测结果示意图；

图14是本发明的一个较佳实施例中的接头端轮廓凸包与凸缺陷筛选结果示意图；

图15是本发明的一个较佳实施例中的接头端矩形A、B、C、D位置标识示意图；

图16是本发明的一个较佳实施例中的抓取点图像坐标获取结果示意图；

图17是本发明的一个较佳实施例中的抓取角度获取流程图；

图18是本发明的一个较佳实施例中的最小轮廓包围矩形(T型和L型)和最小轮廓包围圆形(T型)检测结果示意图；

图19是本发明的一个较佳实施例中的最小包围矩形不适用L型的情况示意图；

图20是本发明的一个较佳实施例中的L型零件抓取角度确定示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在根据本发明的一个较佳实施例中，待抓取的零件为图8中的三种类型的管接件。对于抓取信息的提取的总流程如图1所示。首先是对抓取图像的预处理，其目的是提取图像中所有管接件的轮廓特征，然而由于工业相机自身硬件制作，软件处理以及拍摄环境等因素的影响，采集到的图像往往会引入各种各样的噪声。因此在进行边缘提取前，对采集到的图像进行开闭合运算，在尽量保留图像细节特征的条件下抑制图像噪声，以提高后续图像处理分析的有效性和可靠性。图像预处理的流程如图2所示。

图像开闭合运算属于数学形态学的范畴。数学形态学是一门建立在格论和拓扑学基础上的图像分析学科，是数学形态学图像处理的基本理论。其基本运算包括：二值腐蚀与膨胀、二值开闭运算等。最基本的形态学操作是腐蚀和膨胀，主要的功能有消除噪声，分割独立的图像元素、连接相邻的元素，寻找图像中的明显的极小值区域或极大值区域，求解图像梯度等。图像开闭合运算是这两者组合搭配的高级形态学操作。

执行腐蚀操作即求解图像局部最小值。数学上膨胀或腐蚀操作就是将图像目标区域与结构元素进行卷积的过程。一般情况下，结构元素可视为锚点(参考点) 在中央的实心正方形模板。腐蚀的数学表达式如下：

dst(x,y)＝min{src(x+x',y+y')},(x',y'):element(x',y')≠0

式中，src(x,y)为原图像像素点，dst(x,y)为输出图像像素点，element为结构元素。

相反的，执行膨胀操作即求解图像局部最大值。其数学表达式如下：

dst(x,y)＝max{src(x+x',y+y')},(x',y'):element(x',y')≠0

式中，src(x,y)为原图像像素点，dst(x,y)为输出图像像素点，element为结构元素。

图像开运算其实就是对图像先执行腐蚀操作再执行膨胀操作的过程。开运算是一个基于几何运算的滤波器。其能够在保持图像目标区域总体位置形状不变同时，实现除去孤立小点、毛刺和小桥的效果。

图像闭运算则是对图像先执行膨胀操作再执行腐蚀操作的过程。闭运算是通过填充图像凹角对图像进行滤波。其效果是能够在保持图像目标区域总体位置形状不变同时，填平小黑洞，弥合小黑缝。

由于图像开闭合运算是腐蚀膨胀操作的组合，结构元素的大小也将导致滤波效果不同，选择不同的结构元素可提取出不同的图像特征。

如图2所示，图像预处理过程中在边缘提取前进行了图像开运算，图3展示了对原图像进行图像开运算的效果。从(a)(b)两图对比可以看出，(a)图背景存在星星点点斑驳的图像噪点，经过开运算后，背景基本变为均匀的黑色，且背景平均灰度值降低，与目标零件区域的对比度提高；(c)(d)两图是图(a)(b)目标零件同一区域的局部放大图，执行开运算前零件边缘锯齿效应明显，开运算处理后零件边缘更加平滑，有助于提高边缘提取的效果。

图像边缘提取后，对边缘提取的结果进行了图像闭运算。主要原因是提取到的边缘一般是单像素点宽，可能导致边缘不连续的情况出现。图4展示了对边缘提取后的结果进行图像闭运算的效果。由图(c)(d)对比可知，图像边缘断开的小黑洞被填补，图像轮廓变得连续。虽然填补位置轮廓变宽，但最外层轮廓基本保持不变，并不影响后续操作。

边缘检测是通过计算灰度值突变，利用像素灰度变化的导数或者微分来检测图像阶跃变化位置，从而分割图像的最常用方法。

本实施例中采用的边缘检测算法是Canny边缘检测。它在一阶微分算子的基础上，又引入了非极大值抑制和双阈值算法检测两项改进。前者消除了边缘检测带来的杂散响应，能够对边缘像素点进行更精确的定位；后者则可同时确定真实边缘以及潜在边缘，减小了边缘的漏检率。Canny边缘检测算法步骤如下：

(1)高斯滤波降噪：边缘检测算法使用一阶微分算子，但导数通常对噪声很敏感，因此在检测使用高斯平滑滤波器卷积降噪，以降低边缘检测的错检率。若f (x,y)表示输入图像，G(x,y)表示高斯模板，f_s(x,y)为平滑后的图像，则有：

f_s＝G(x,y)*f(x,y)

(2)使用Sobel卷积核与图像进行卷积，G_x和G_y分别是Sobel算子作用于水平方向和垂直方向得到的梯度幅值分量，由此求解梯度幅值图像M和角度幅值图像θ得：

(3)对梯度幅值图像进行非极大值抑制。在高斯滤波时，边缘宽度被放大，通过非极大值抑制，保留局部梯度幅值最大的像素点，进一步排除非边缘像素，使边缘尽可能保持单像素宽。计算时，将邻域的中心像素f(x,y)与沿着梯度线的两个像素进行对比。若沿着梯度线的相邻两个像素的梯度值大于f(x,y)的梯度值，则令f(x,y)＝0，最终局部梯度幅值最大的像素点被保留。

(4)基于双阈值分析和连接操作进行边缘检测。通过设置大小阈值来对检测的边缘强弱进行分类。大的阈值会筛选出少量的边缘点和许多的间隙，高于大阈值的像素点确定为强边缘点；小的阈值会筛选出大量的边缘点和许多的误检，包含大量弱边缘和非边缘，低于小阈值的像素点判定为非边缘，剩余的弱边缘点中，若像素点与强边缘邻接，则确定为强边缘点，否则为非边缘。

根据Canny检测算法步骤，对本实施例中的管接件图像进行处理，得到的效果图如图5所示。由图5可以看到，Canny检测得到的轮廓总体上清晰完整，效果较好。细节方面再经图像闭运算处理，图像预处理环节最终得到了完整的轮廓点集。

由于不同类型管接件外形不同，确定其抓取信息的方法有所区别，需要对图像中每个轮廓所属的零件类型进行识别标记。本实施例在得到图像轮廓信息后，计算出每个轮廓包围的面积，因为系统每次拍照位置都是固定的，相机与管接件传送带的相对位置基本不变，图像中三种类型管接件的尺度也基本保持不变。随机拍摄一组照片进行测试，计算得到图像中每种类型零件的面积，数据如表1所示：

表1管接件轮廓面积数据

从实验数据可以看到，图像中三种类型零件的轮廓面积的差异比较大，且每种类型零件的轮廓面积浮动范围比较小，可以通过设置合理的面积阈值，作为区分三种类型零件的依据。具体的操作是随机拍摄一张各有一个不同类型零件的图像，记录每种类型的轮廓面积，依照下式确定面积阈值：

式中，S_TL为T型与L型零件轮廓面积阈值；S_LY为L型与Y型零件轮廓面积阈值；s_T，s_L，s_Y分别为T型、L型和Y型零件的轮廓面积。

通过此方法进行零件分类只需预先进行一次标定，设置面积阈值，之后提取图像中每个轮廓的包围面积，并与阈值进行比较，无需进行复杂运算及图像高级操作如模板匹配等，简单易行、效率高、速度快。经过300多次的实验测试，该方法在本实施中实际运行时成功率为100％，稳定性高，完全满足系统的零件分类要求。

本实施例中，为实现对管接件的抓取，需要在确定零件类型的前提下，根据待抓取零件类型获取其抓取点的在图像中的坐标以及末端执行机构抓取时的角度。在抓取点图像坐标获取中主要使用图像凸包与凸缺陷检测的方法，抓取角度则主要由检测出的轮廓最小包围矩形和最小包围圆形共同确定。

根据本实施例的具体情况，以图6中矩形ABCD中心O点作为零件的抓取点位置，然而O点所在位置并无明显的标志可进行识别定位，相比之下，矩形角点A、 B、C、D的位置更加容易确定，因此在图像处理中确定抓取点图像坐标的基本思路是获取A、B、C、D四点在图像中的坐标值，最后求四点中心得到O点坐标。

在图6中A、B、C、D四点处于零件倒角起点或者终点的位置，通过分析零件的外形特征，结合图像处理的理论方法，本实施例中采用凸包与凸缺陷检测的方法进行 A、B、C、D四点坐标的获取。

凸包(Convex Hull)是一个计算几何学中的概念。在二维欧几里得空间中，点集 Q的凸包是指一个最小凸多边形，其满足Q中所有点在多边形内部或者边上。具体而言，求解管接件轮廓的凸包即是求解能将轮廓所有点包围的最小凸多边形，OpenCV 中包含凸包检测算法的实现，通过调用API函数即可对已经查找得到的轮廓点集进行凸包检测，检测结果如图7所示。

在检测出管接件轮廓凸包的基础上，调用OpenCV的API函数可以对凸缺陷进行检测，反馈得到描述凸缺陷的四个特征信息：凸缺陷起点、终点、最远点的轮廓索引值以及最远点到凸包对边的像素距离。

如图8所示，不同类型管接件接头端的外形特征及尺寸大小基本一致，因此在图像抓取点定位的第一步是利用凸包与凸缺陷检测方法，将不同类型的管接件的接头端分割出来，之后再对大致相似的分割结果进行统一处理。

在本实施例中，具体的抓取点定位流程如图9所示。

将接头端轮廓段从图像中分割出来，主要使用了两种方法。对于T型和L型零件，首先使用凸包与凸缺陷检测方法对轮廓凸缺陷进行检测，将检测到的凸缺陷最远点分别与起点和终点相连以标识其位置，通过控制深度阈值筛选出所需的凸缺陷，筛选结果如图10所示。T型零件检测到两侧的两个凸缺陷，L型零件检测到三个凸缺陷。T型零件选择两个凸缺陷的最远点作为接头端端点，L型零件选择深度最大的凸缺陷最远点与剩余任意一个凸缺陷的最远点作为接头端端点，截取出长度较短的一段轮廓，并将端点相连，其结果作为接头端轮廓段。

对于Y型零件，由于其检测的凸缺陷位置并不稳定，所以选择其他方法进行分割。通过检测Y型零件的最小轮廓包围矩形，反馈得到最小包围矩形在图像中的角度以及中心点坐标，如图11所示。过矩形中心以矩形角度正切值为斜率作一条直线，取直线与Y型轮廓交点为端点，截取直线上半部分轮廓，并将端点相连，其结果作为接头端轮廓段。

最终三种类型零件的分割结果如图12所示。

分割得到的接头端形状存在许多共同特征，可忽略零件类型，使用统一的方法进行处理。对接头端轮廓进行凸包与凸缺陷检测，同样设置深度阈值作为筛选条件，得到如图13所示结果。图中标识了检测到的凸包位置及编号，可以看到， 1号和2号凸缺陷包含了矩形A、B、C、D的坐标信息，因此需要滤除其他的凸缺陷。根据凸缺陷位置与端点之间的距离关系，通过设置距离最大与最小阈值，筛选得到1号和2号。结果如图14所示。

从图14可以看出，凸缺陷距离较长的线段即是抓取面切线，凸缺陷的最远点恰好是矩形A、B两点，线段另一端是矩形C、D点位置。因此通过距离比较筛选出较长线段，得到矩形A、B、C、D四点坐标。如图15所示。最终取四点中点，得到抓取点O坐标。最终结果如图16所示。

管接件的抓取角度指的是末端执行机构抓取时的角度，由于抓取时，工业机器人末端法兰盘的中轴线与抓取放置平面垂直，因此管接件抓取角度也可由工业机器人第六轴转角来表示。又因为相机与末端执行机构平行布置，相机采集图像中管接件的角度只需经过简单的象限变换就可得到工业机器人第六轴转角，由此建立起图像角度与管接件抓取角度的联系。

本实施例中，抓取角度的提取流程如图17所示。首先需要获取管接件在图像中的角度。主要方法是轮廓最小包围矩形与最小包围圆形检测。

如图18所示，对于T型和Y型零件，首先进行最小轮廓包围矩形检测，获取矩形的在图像中的角度信息和矩形中心的坐标信息。从结果看，包围矩形能很好地指示零件的方位，获取的矩形角度只需进行简单的象限判断与变换就得到管接件的抓取角度。

Y型零件的象限判断根据最小包围矩形的长边在图像中的朝向来判断，图18 中标识了矩形的角度α、矩形框高度h，矩形框宽度w。抓取角度θ由下式确定：

T型零件根据抓取接头端的朝向进行象限判断与变换，需要最小轮廓包围圆形辅助判断，如图18所示，矩形中心标识为点R(x_r,y_r)，圆形中心标识为点C(x_c,y_c)。

抓取角度θ由下式确定：

对于L型零件，由于不是对称结构，所以最小包围矩形角度有时会出现偏转现象，如图19所示，不能作为L型零件角度获取的根据。因此L型零件根据抓取点定位时识别到的矩形A、B两点来获取，如图20所示，过A、B两点作直线l，求取直线l的斜率的反正切值就可得到L型零件的抓取角度。

θ＝arctank_l

其中k_l为直线l的斜率。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种用于工业机器人的视觉系统抓取信息提取方法，其特征在于，包括如下步骤：

(1)输入采集的待抓取件的图像；

(2)对所述图像进行预处理；

(3)绘制所述待抓取件的轮廓，提取轮廓点集；

(4)根据所述的轮廓点集计算轮廓面积，按面积大小对所述待抓取件进行区分；

(5)根据所述待抓取件的类型提取所述待抓取件的抓取点O的坐标；

(6)根据所述待抓取件的类型提取所述待抓取件的抓取角度。

2.如权利要求1所述的用于工业机器人的视觉系统抓取信息提取方法，其中，步骤(1)中所述的待抓取件为包括T型、L型和Y型的管接件。

3.如权利要求2所述的用于工业机器人的视觉系统抓取信息提取方法，其中，步骤(2)包括对所述图像进行开运算、边缘检测、闭运算。

4.如权利要求3所述的用于工业机器人的视觉系统抓取信息提取方法，其中，所述的边缘检测为Canny边缘检测。

5.如权利要求4所述的用于工业机器人的视觉系统抓取信息提取方法，其中，步骤(4)中根据下式设置面积阈值，从而将所述管接件区分为所述的T型、L型和Y型：

其中S_TL为T型与L型所述管接件的轮廓面积阈值，S_LY为L型与Y型所述管接件的轮廓面积阈值，s_T，s_L，s_Y分别为T型、L型和Y型的轮廓面积。

6.如权利要求5所述的用于工业机器人的视觉系统抓取信息提取方法，其中，步骤(5)包括以下步骤：通过图像分割获取所述抓取点O所在的所述待抓取件的接头端的轮廓及端点；确定所述接头端上以所述抓取点O为中心的矩形的四个端点A、B、C和D点的坐标；根据A、B、C和D点的坐标确定其中心点即所述抓取点O的坐标。

7.如权利要求6所述的用于工业机器人的视觉系统抓取信息提取方法，其中，对T型和L型所述待抓取件使用凸包与凸缺陷检测方法以对其进行所述的图像分割；对Y型所述待抓取件使用最小轮廓包围矩形检测以对其进行所述的图像分割。

8.如权利要求7所述的用于工业机器人的视觉系统抓取信息提取方法，其中，对所述接头端的轮廓进行凸包与凸缺陷检测，进一步筛选得到所述的A、B、C、D点坐标。

9.如权利要求8所述的用于工业机器人的视觉系统抓取信息提取方法，其中，所述待抓取件的放置平面与所述工业机器人的末端法兰盘的中轴线垂直，所述的抓取角度被定义为所述工业机器人的第六轴转角。

10.如权利要求9所述的用于工业机器人的视觉系统抓取信息提取方法，其中，对于Y型所述管接件，进行最小轮廓包围矩形检测，抓取角度θ由下式确定：

其中α为矩形的角度，h为矩形框高度，w为矩形框宽度；

对于T型所述管接件，进行最小轮廓包围矩形检测和最小轮廓包围圆形检测，抓取角度θ由下式确定：

其中(x_r,y_r)为矩形中心标识点R坐标，(x_c,y_c)为圆形中心标识点C坐标；

对于L型所述管接件，过所述的A、B两点作直线l，抓取角度θ由下式确定：

θ＝arctank_l

其中k_l为直线l的斜率。

Images