CN110315525A - 一种基于视觉引导的机器人工件抓取方法 - Google Patents

Abstract

本发明提供了一种基于视觉引导的机器人工件抓取方法，属于机器人视觉识别及定位领域。该方法包括：(1)预先建立好目标工件的模板，采集目标工件的图像，获取所述模板的边缘特征图像和目标工件的边缘特征图像；(2)利用所述目标工件的边缘特征图像的最小外接矩形获取目标工件相对于模板的偏转角度，利用所述偏转角度和所述模板的边缘特征图像建立补偿模板集合；(3)将所述目标工件的边缘特征图像同所述补偿模板集合进行匹配，识别出目标工件并获取目标工件在视觉坐标系下的中心坐标；(4)将视觉坐标系转换到机器人用户坐标系；(5)选定参考点，利用时刻和位置唯一标识同一目标工件，完成定位抓取。利用本发明能够准确地识别目标工件。

Description

一种基于视觉引导的机器人工件抓取方法

技术领域

本发明属于机器人视觉识别及定位领域，具体涉及一种基于视觉引导的机器人工件抓取方法。

背景技术

近年来得益于国家大力发展机器人产业，机器人技术得以意蓬勃发展，人们对生产线自动化的要求不断提高，因此机器人也被广泛应用在各类工业生产环节中。传统的机器人分拣过程一般采用示教或离线编程的方法来控制机器人的运动，这很难适应当下工业生产中复杂多变的工作环境，视觉技术的出现使机器人具有了更高的智能化程度和更强的环境适应能力，配有视觉系统的机器人已经广泛地应用在电子电器、汽车、食品、制药和物流等领域中。

在实现方法上，利用视觉识别和定位技术引导机器人分拣工业生产线中的杂乱工件主要包括工件的识别和定位两个方面。现有的目标识别一般采用局部特征描述的方法，但高维的特征向量带来了大量的计算代价。在一副图像中定位一个已知目标的最简单的方法就是搜索与其相同的像素分布区域，这需要对目标工件的位姿和光照条件有比较严格的限制，这在实际的生产环境中是很难实现的；同时，为了避免工件遗漏抓取的情况，一般会设置相机对同一目标工件进行多次拍摄，这就会使得机器人控制系统得到重复的信息，增大了计算量，同时降低了效率。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于视觉引导的机器人工件抓取方法，引导机器人末端执行机构正确、高效地分拣相应类别的目标工件。

本发明是通过以下技术方案实现的：

一种基于视觉引导的机器人工件抓取方法，包括：

(1)预先建立好目标工件的模板，采集目标工件的图像，获取所述模板的边缘特征图像和目标工件的边缘特征图像；

(2)利用所述目标工件的边缘特征图像的最小外接矩形获取目标工件相对于模板的偏转角度，利用所述偏转角度和所述模板的边缘特征图像建立补偿模板集合；

(3)将所述目标工件的边缘特征图像同所述补偿模板集合进行匹配，识别出目标工件并获取目标工件在视觉坐标系下的中心坐标；

(4)将视觉坐标系转换到机器人用户坐标系；

(5)选定参考点，利用时刻和位置唯一标识同一目标工件，完成目标工件的定位抓取。

所述步骤(1)中预先建立好目标工件的模板的操作包括：将目标工件摆放好后，用工业相机拍摄一张图像作为目标工件的模板；

所述步骤(1)中获取所述模板的边缘特征图像和目标工件的边缘特征图像的操作包括：

对模板和目标工件的图像分别进行以下操作：

(11)对图像进行平滑处理得到平滑图像；

(12)计算所述平滑图像的x方向和y方向的边缘响应点的梯度幅值和梯度方向；

(13)根据所述梯度幅值和梯度方向获取所述平滑图像的边缘候选点；

(14)通过阈值对边缘候选点进行筛选获得边缘特征图像。

所述步骤(11)中采用高斯平滑滤波器对图像进行平滑处理得到平滑图像。

所述步骤(12)中采用Sobel算子获得x方向和y方向的边缘响应点的梯度幅值和梯度方向。

所述步骤(13)的操作包括：

利用Sobel算子依次遍历所述平滑图像中的每一个像素点，比较Sobel算子中心所处位置的像素点在4个梯度方向上的强度是否为最大值，若是，则保留该像素点为边缘候选点。

所述步骤(14)的操作包括：

设置高阈值和低阈值；

若边缘候选点的强度超过高阈值，则保留该边缘候选点为边缘点；

若边缘候选点的强度低于低阈值，则将该边缘候选点剔除；

若边缘候选点的强度介于高阈值和低阈值之间，则保留该边缘候选点为边缘点；

将所有边缘点依次连接形成所述边缘特征图像。

所述高阈值、低阈值的比值为1∶3到1∶2之间。

所述步骤(2)的操作包括：

选取所述目标工件的边缘特征图像的最小外接矩形的短边上的在视觉坐标系下的相邻坐标(x1，y1)和(x2，y2)，利用下式得到目标工件相对于模板的偏转角度：

利用所述偏转角度和所述模板的边缘特征图像建立补偿模板集合：

将模板的边缘特征图像分别旋转θ角度：

其中，(x，y)为模板的二值图像，(u，v)为旋转后的二值图像；

将每个角度与相应的模板的二值图像对应为一组；

根据索引编号i将所有组构成补偿模板集合。

所述步骤(3)的操作包括：

将所述补偿模板集合沿目标工件的边缘特征图像进行逐像素扫描，每移动一次，目标工件的边缘特征图像和补偿模板集合之间就会得到一个边缘距离，当边缘距离最小时为最优匹配，并记录下最优匹配时的最小外接矩形的中心坐标，该中心坐标即为目标工件在视觉坐标系下的中心坐标。

所述步骤(4)的操作包括：

选取视觉坐标系的初始O点及x轴与y轴方向，所述机器人用户坐标系与视觉坐标系的x轴一致，y轴上有平移。

所述步骤(5)的操作包括：

在传送带上设立一个参考点，目标工件在运动过程中，其中心坐标的x坐标保持不变，利用中心坐标的y坐标和到达参考点的时刻来唯一标识工件，完成目标工件的定位抓取。

与现有技术相比，本发明的有益效果是：

1.针对性强，识别过程克服了光照变化、噪声及目标物体的旋转对匹配过程造成的影响，降低了计算机需要处理的数据量，排除了不相关像素灰度值变化对匹配过程产生的干扰，具有较高的匹配成功率。

2.定位过程中的两个坐标系满足线性变换，错误率低，排除了重复信息，中心坐标具有一定程度的冗余性。

3.实验结果表明，采用该方法的2D视觉任务能够准确地识别目标，完成精准定位，具有较高的识别成功率。

附图说明

图1为本发明整体流程图；

图2为带有高斯噪声的目标图像；

图3为经Canny边缘提取算子提取到的边缘图像特征图像；

图4根据最小外界矩形获取的可能的偏转情况；

图5为边缘距离搜索策略示意图；

图6匹配效果图；

图7为视觉坐标和机器人坐标转换关系示意图；

具体实施方式

下面结合附图对本发明作进一步详细描述：

工件自身的光照变化及旋转会使得其在全局图像中的灰度分布产生改变，本发明首先利用边缘提取算子得到目标工件连续的边缘特征，为了排除噪声及光照变化的干扰，提取边缘特征图像，提出一种基于边缘点距离的搜索策略(如图5所示)。针对旋转变化，建立工件的最小外接矩形，取得目标可能的偏转角度，生成模板集合，通过搜索策略完成对目标的识别。建立视觉系统同机器人系统间的转换关系，去除重复信息，完成目标工件的定位抓取。

如图1所示，本发明方法包括以下步骤：

预先将工件摆放好，用工业相机拍摄一张图像作为目标工件的模板，将这个目标工件的模板也进行边缘特征的提取，将只含有边缘的这个图像作为后续匹配工作的模板存在数据库中，后续用工业相机拍摄采集到的图像经过特征提取操作后都和这个模板进行比较，得到角度和种类的信息；

步骤1：提取目标工件的模板和目标工件的边缘特征信息，利用Canny边缘检测算子(下面的步骤(1)～(4)合起来是canny算子)对目标的图像进行边缘特征提取，得到图像的边缘特征图像。具体如下：

使用高斯平滑滤波卷积降噪，利用Sobel滤波器(即Sobel算子、Sobel模板)计算边缘的梯度幅值和方向，通过非极大值抑制获取候选边缘点，再使用滞后阈值剔除非边缘点，连接边缘点，具体如下：

(1)消除噪声：一般使用高斯平滑滤波器对图像(即采集到的目标工件的图像)进行卷积降噪，如下是一个2σ＝5的高斯核示例：

式(1)是降噪滤波的高斯模板

(2)计算梯度幅值和方向：运用分别作用于x和y方向的卷积阵列得到两个方向的边缘响应点：公式(2)是求梯度相应的Sobel模板。

响应点的梯度如下：

其中，G是梯度的幅值，θ是梯度的方向；

离散形式的梯度方向一般为0度，45度，90度和135度四个方向。

(3)非极大值抑制：

利用Sobel算子依次遍历所述平滑图像中的每一个像素点，比较Sobel算子中心所处位置的像素点在4个梯度方向上(即0度，45度，90度和135度四个方向)的强度(一般认为是灰度值)是否为最大值，若是，则保留该像素点为边缘候选点。

(4)阈值滞后：

设置高低两个阈值(根据响应的结果具体设置，一般高低阈值比为1∶3到1∶2之间)，若某一位置的边缘候选点的强度超过高阈值，该像素被保留为边缘点；若小于低阈值，则被排除；将介于高低阈值之间的边缘候选点与高于高阈值的边缘候选点依次连接形成边缘特征图像。

上述4个步骤对模板和目标图像的操作相同，建立的模板也是提取边缘特征之后的模板。

步骤2：对边缘特征图像求取最小外接矩形，获取目标相对于模板的偏转角度；利用偏转角度和模板的边缘特征图像建立补偿模板集合；具体如下：

所述对边缘特征图像求取最小外接矩形，获取目标相对于模板的偏转角度具体为：选取最小外接矩形(直接调用专门获取外接矩形的功能函数即可获得最小外接矩形)，短边在视觉坐标系下的相邻坐标(x₁，y₁)和(x₂，y₂)(如图4所示，指矩形的短边上，短边和长边相交的两个顶点)得到目标相对于模板的偏转角度：

因为根据目标的最小外接矩形来确定目标的旋转角度，且目标一般情况下为非中心对称形状，所以会出现如公式(4)中所表述的情况。所述利用获得的偏转角度和边缘特征图像建立模板集，具体为：得到偏转角度后，因为可能存在的2种旋转情况(即0度和180度两种旋转情况)，将目标工件的模板分别旋转如上角度。

所述利用偏转角度和模板的边缘特征图像建立补偿模板包括以下步骤：

将目标工件的模板的边缘特征图像分别旋转θ角度：

其中，(x，y)为模板的二值图像，(u，v)为旋转后的二值图像；

将每个角度与相应模板的边缘特征图像对应为一组，即将每种工件的模板旋转可能得到的角度，每种工件的模板有多个角度，构成一类的模板集合；

组成模板集后根据匹配结果得到索引编号i(i＝0，1)，进而具体确认目标的旋转角度，为后续机器人抓取工作的角度补偿服务。

步骤3：利用边缘点距离策略将采集的目标图像的边缘特征图像同补偿模板集合进行匹配，识别出工件并获取工件在视觉坐标系下的中心坐标。具体为如下：

将模板集沿目标图像逐像素扫描(在编程上就是通过循环直接计算坐标范围内的几何距离)，每移动一次目标和模板间就会得到一个对应边缘距离，当边缘距离最小时，此时为最优匹配。

对于空间中任意两个有限点集A＝{a₁，a₂，…，a_n}和B＝{b₁，b₂，…，b_n}，集合A到B的距离定义为：

定义模板边缘点为A，目标边缘点为B，D(A，B)为前向距离，D(B，A)为后向距离，取这两个距离的最大值作为边缘距离，当模板图像与目标图像非常接近时，会得到边缘距离的最小值，此时为最优匹配，这时记录下匹配成功处外接矩形的中心坐标即得到工件的中心坐标。

步骤4：标定相机坐标系和机器人用户坐标系，将视觉坐标系(即前述的相机坐标系)转换成机器人可以识别的用户坐标。具体如下：

选取视觉坐标系初始O点及x轴与y轴方向，建立机器人用户坐标与之重合，计算两坐标系间的相互关系，两者的x一致，y方向上有平移。

步骤5：选定参考点，利用(时刻，位置)来唯一标识同一工件，去除重复采集的视觉信息。具体如下：在传送带上设立一个参考位置，工件在运动过程中，x坐标保持不变，利用y坐标(此句话中x坐标、y坐标是指步骤3得到的工件的中心坐标的x坐标、y坐标)和到达参考位置时刻唯一标识工件。

本发明的一个实施例如下：

目标工件为B工件，如图2所示，为B工件的高斯滤波后的目标图像，为得到精确的边缘特征信息，首先要对目标图像进行平滑，减小噪声，本发明采用高斯滤波器对图像进行平滑。图3为采用Canny边缘检测算子提取到的B工件的边缘特征图像，依据非极大值抑制及双阈值滞后方法，获取精确的边缘信息。

对模板和采集的目标图像求取最小外接矩形，如图6所示，再根据式(4)进而获得目标可能的偏转角度。

获取到目标旋转角度后，按式(5)的方法将模板进行角度补偿：

将模板集沿着目标图像逐像素扫描，每移动一次目标和模板间就会得到一个对应边缘距离，当边缘距离最小时，此时为最优匹配。

边缘距离为所定义的前向距离与后向距离中的最大值，在模板及逐像素扫描的过程中，记录边缘距离数值的变化，当距离最小时，认为匹配成功，这时记录下匹配成功处外接矩形的中心坐标。

按图7所示的方式标定视觉坐标与机器人用户坐标系，建立视觉系统同机器人控制系统间的联系。由于相机触发方式采用频率触发，对同一目标工件会进行多次采集，需要令机器人控制系统对传输过来的坐标信息进行重复剔除操作，在传送带中设立参考位置，使用(t，x)坐标来唯一的表示一个工件的坐标信息。假设相机对某个工件初次采集到的平面坐标信息为(x，y)，当前的时刻为t，选取机器人操作区域的用户坐标系中的x轴为参考位置。这样当工件到达该参考位置的时间为t1，t1可以作为后续动态抓取过程的计算参数，减少了计算量。

S是视觉坐标系和机器人坐标系的相对距离，v是工件的移动速度。

下一次拍照的时刻t’满足下式关系：

f是相机的采集频率，俗称快门速度，就是经过f秒相机拍摄一次。

此时刻工件到达参考位置的时间t1’为：

其中y’为此时刻工件在y方向的坐标信息：

联立式(8)-(10)可以得到：

t1’＝t1 (11)

因此对于同一工件来说，其到达前方参考位置的时刻是固定不变的，因此可以通过区分工件到达参考位置y的时刻来区分不同的工件。同时，同一个工件在不同时刻的x坐标是不变的，因此可以用(t，x)作为一组可以区分图像中各工件的坐标。经采集并去掉重复信息之后的工件信息将按照顺序进行存储，机器人按序进行抓取。

实验结果表明，采用该方法的视觉任务能够准确的辨别目标，具有较高的抓取成功率。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (10)

1.一种基于视觉引导的机器人工件抓取方法，其特征在于：所述方法包括：

(1)预先建立好目标工件的模板，采集目标工件的图像，获取所述模板的边缘特征图像和目标工件的边缘特征图像；

(2)利用所述目标工件的边缘特征图像的最小外接矩形获取目标工件相对于模板的偏转角度，利用所述偏转角度和所述模板的边缘特征图像建立补偿模板集合；

(3)将所述目标工件的边缘特征图像同所述补偿模板集合进行匹配，识别出目标工件并获取目标工件在视觉坐标系下的中心坐标；

(4)将视觉坐标系转换到机器人用户坐标系；

(5)选定参考点，利用时刻和位置唯一标识同一目标工件，完成目标工件的定位抓取。

2.根据权利要求1所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(1)中预先建立好目标工件的模板的操作包括：将目标工件摆放好后，用工业相机拍摄一张图像作为目标工件的模板；

所述步骤(1)中获取所述模板的边缘特征图像和目标工件的边缘特征图像的操作包括：

对模板和目标工件的图像分别进行以下操作：

(11)对图像进行平滑处理得到平滑图像；

(12)计算所述平滑图像的x方向和y方向的边缘响应点的梯度幅值和梯度方向；

(13)根据所述梯度幅值和梯度方向获取所述平滑图像的边缘候选点；

(14)通过阈值对边缘候选点进行筛选获得边缘特征图像。

3.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(11)中采用高斯平滑滤波器对图像进行平滑处理得到平滑图像。

4.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(12)中采用Sobel算子获得x方向和y方向的边缘响应点的梯度幅值和梯度方向。

5.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(13)的操作包括：

利用Sobel算子依次遍历所述平滑图像中的每一个像素点，比较Sobel算子中心所处位置的像素点在4个梯度方向上的强度是否为最大值，若是，则保留该像素点为边缘候选点。

6.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(14)的操作包括：

设置高阈值和低阈值；

若边缘候选点的强度超过高阈值，则保留该边缘候选点为边缘点；

若边缘候选点的强度低于低阈值，则将该边缘候选点剔除；

若边缘候选点的强度介于高阈值和低阈值之间，则保留该边缘候选点为边缘点；

将所有边缘点依次连接形成所述边缘特征图像；

所述高阈值、低阈值的比值为1：3到1：2之间。

7.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(2)的操作包括：

选取所述目标工件的边缘特征图像的最小外接矩形的短边上的在视觉坐标系下的相邻坐标(x1，y1)和(x2，y2)，利用下式得到目标工件相对于模板的偏转角度：

利用所述偏转角度和所述模板的边缘特征图像建立补偿模板集合：

将模板的边缘特征图像分别旋转θ角度：

其中，(x，y)为模板的二值图像，(u，v)为旋转后的二值图像；

将每个角度与相应的模板的二值图像对应为一组；

根据索引编号i将所有组构成补偿模板集合。

8.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(3)的操作包括：

将所述补偿模板集合沿目标工件的边缘特征图像进行逐像素扫描，每移动一次，目标工件的边缘特征图像和补偿模板集合之间就会得到一个边缘距离，当边缘距离最小时为最优匹配，并记录下最优匹配时的最小外接矩形的中心坐标，该中心坐标即为目标工件在视觉坐标系下的中心坐标。

9.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(4)的操作包括：

选取视觉坐标系的初始0点及x轴与y轴方向，所述机器人用户坐标系与视觉坐标系的x轴一致，y轴上有平移。

10.根据权利要求2所述的基于视觉引导的机器人工件抓取方法，其特征在于：所述步骤(5)的操作包括：

在传送带上设立一个参考点，目标工件在运动过程中，其中心坐标的x坐标保持不变，利用中心坐标的y坐标和到达参考点的时刻来唯一标识工件，完成目标工件的定位抓取。