CN114248293A - 一种基于2d激光轮廓仪与2d相机的带孔零件抓取方法及系统 - Google Patents

Abstract

本发明公开了一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法及系统，属于智能制造领域，方法包括：通过2D相机和两个2D激光轮廓仪对零件的姿态和销孔的位置进行示教拍摄，获得示教数据；后续的每一次抓取前，将机器人抓手放置于所述拍摄点位，并进行预抓取拍摄，获得预抓取数据；比较预抓取数据和所述示教数据的差别，得到偏移信息，并根据偏移信息对当前的预抓取数据进行补偿，得到正确的抓取信息；根据抓取信息将机器人移动至正确位置完成对零件的抓取。本发明通过改进测量架构，采用2D相机配合2D激光轮廓仪来实现大型零件的三维姿态解算并完成高精度抓取，不仅精度高而且成本比3D相机低很多，实现机器视觉抓取在工业领域的推广应用。

Description

一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法及系统

技术领域

本发明涉及智能制造领域，尤其涉及一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法及系统。

背景技术

在智能制造中，由机器人对大型零件进行抓取是非常常见且重要的技术之一，现在的机器人零件抓取主要分为两大类，一类是有序抓取，另一类是无序抓取，其中有序抓取又分为普通抓取和高精度抓取，而无序抓取通常要求精度不高。这几种抓取方式中，有序抓取精度要求不高的情况无需视觉引导，但是当抓取精度要求较高的时候，就必须使用视觉对机器人进行引导确保抓取位置精度得到保证。

对于常见的用于引导的机器视觉系统主要分为两类，一种是由2D相机、镜头和光源组成的二维视觉引导方案，主要负责完成对平面零件的位置解算和定位；另外一种就是由3D相机直接拍摄三维零件实现对机器人的三维空间位置引导，与2D相机相比三维相机成本相对较高，仅有立体空间的特殊需求时才会使用。

现有的2D视觉系统仅能引导二维的零件位置和平面旋转角度进行抓取，无法对抓取物的三维姿态进行判断和测量，尤其是零件的俯仰角度，因此单纯的2D相机有时可能无法达到预期的效果，当然该情况通常会考虑3D相机来进行机器人引导，但是3D相机价格是2D相机的10-20倍，这对智能制造和机器视觉的推广挑战较大。

发明内容

本发明的目的在于克服现有技术中机器人对零件的视觉抓取存在的问题，提供了一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法及系统。

本发明的目的是通过以下技术方案来实现的：

提供一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，所述方法包括：

将机器人抓手上的定位销准确插入待抓取零件的销孔中，并在所述零件上方选取拍摄点位；

将所述机器人抓手平移至所述拍摄点位，并通过2D相机和两个2D激光轮廓仪对零件的姿态和销孔的位置进行示教拍摄，获得示教数据；

后续的每一次抓取前，将所述机器人抓手放置于所述拍摄点位，并进行预抓取拍摄，获得预抓取数据；

比较所述预抓取数据和所述示教数据的差别，得到偏移信息，并根据所述偏移信息对当前的预抓取数据进行补偿，得到正确的抓取信息；

根据所述抓取信息将机器人移动至正确位置完成对零件的抓取。

作为一优选项，所述示教数据包括两个2D激光轮廓仪的两条激光线形成平面的法向量、两个销孔中心连线的斜率和两个销孔中心的坐标位置。

作为一优选项，所述示教数据还包括进行示教拍摄时机器人抓手所在平面的法向量。

作为一优选项，所述偏移信息包括预抓取时机器人抓手所在平面的法向量与示教拍摄时机器人抓手所在平面的法向量之间的偏移量。

作为一优选项，所述偏移信息包括预抓取拍摄时与示教拍摄时两个销孔中心连线的斜率的偏移量、两个销孔中心的坐标位置的偏移量。

作为一优选项，所述将机器人抓手上的定位销准确插入待抓取零件的销孔中，包括：

保持待抓取零件水平，机器人抓手的定位销垂直于所述零件所在平面。

本发明还提供一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，所述系统包括：

机器人抓手，所述机器人抓手上设有定位销；

2D激光轮廓仪，所述2D激光轮廓仪设置在所述机器人抓手上；

2D相机，所述2D相机设置在所述机器人抓手上；

零件，所述零件为具有孔特征的大型零件；

控制器，所述控制器用于控制所述机器人抓手进行示教抓取、预抓取和正式抓取、控制2D激光轮廓仪和2D相机进行示教拍摄和预抓取拍摄。

作为一优选项，一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，所述控制器还用于比较所述预抓取和所述示教抓取的差别，得到偏移信息，并根据所述偏移信息对当前的预抓取进行数据补偿。

作为一优选项，一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，，系统包括两个2D激光轮廓仪和1个2D相机。

作为一优选项，一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，所述两个2D激光轮廓仪设在零件所在平面区域的正上方，所述2D相机设在两个相距较远的销孔上方。

需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

与现有技术相比，本发明有益效果是：

(1)本发明采用2D相机配合2D激光轮廓仪相结合的测量架构不仅精度高而且成本比3D相机低很多，有助于实现机器视觉抓取在工业领域的推广应用。

(2)本发明对于具有孔特征的大型零件实现三维姿态解算并完成高精度抓取。

附图说明

图1为本发明一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法的流程图；

图2为本发明一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统的示意图；

图3为本发明2D激光轮廓仪的位置设置计算的几何示意图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明本发明主要采用2D相机2与2D激光轮廓仪1相结合的测量架构，对于具有孔特征的大型零件实现三维姿态解算并完成高精度抓取，不仅精度高而且成本比3D相机低很多，有助于实现机器视觉抓取在工业领域的推广应用。

实施例1

在于示例性实施例中，对于具有孔特征的大型零件的高精度抓取，提出了一种基于2D激光轮廓仪与2D相机相结合的机器人视觉引导的抓取方法，如图1、2所示，所述方法包括：

将机器人抓手上的定位销准确插入待抓取零件3的销孔中，并在所述零件3上方选取拍摄点位；

将所述机器人抓手平移至所述拍摄点位，并通过2D相机2和两个2D激光轮廓仪1对零件3的姿态和销孔的位置进行示教拍摄，获得示教数据；

后续的每一次抓取前，将所述机器人抓手放置于所述拍摄点位，并进行预抓取拍摄，获得预抓取数据；

比较所述预抓取数据和所述示教数据的差别，得到偏移信息，并根据所述偏移信息对当前的预抓取数据进行补偿，得到正确的抓取信息；

根据所述抓取信息将机器人移动至正确位置完成对零件3的抓取。

具体地，将1个2D相机2通常安装于零件上孔特征位置的正上方，两个2D激光轮廓仪1安装于零件3上具有平面特征位置的正上方，为保证姿态中三个旋转角度的测量精度，2D相机2对应的孔特征之间距离以及两个2D激光轮廓仪对应的投射直线之间的距离尽量大并不小于一定的值。

进一步地，所述将机器人抓手上的定位销准确插入待抓取零件3的销孔中，包括：

保持待抓取零件水平，机器人抓手的定位销垂直于所述零件3所在平面。

首先进行位置示教，方式如下：当零件放置于当前位置，通过机器人抓手上的定位销与零件3上销孔在保证水平且旋转角和x、y位置正确的情况下，正确插入，再将抓手平移至拍摄点位，通过2D相机2和2D激光轮廓仪1对零件3的姿态和零件3上销孔的位置数据进行记录。

进一步地，所述示教数据包括两个2D激光轮廓仪1的两条激光线形成平面的法向量、两个销孔中心连线的斜率和两个销孔中心的坐标位置。

进一步地，所述示教数据还包括进行示教拍摄时机器人抓手所在平面的法向量。

进一步地，所述偏移信息包括预抓取时机器人抓手所在平面的法向量与示教拍摄时机器人抓手所在平面的法向量之间的偏移量。后续每一次抓取前，抓手放置于拍摄点位，计算当前平面的法向量与示教位置平面法向量的之间的偏移量，并传给机器人进行旋转至平行位置。

进一步地，所述偏移信息包括预抓取拍摄时与示教拍摄时两个销孔中心连线的斜率的偏移量、两个销孔中心的坐标位置的偏移量。具体地，再次拍摄，计算两个销孔中心之间连线的斜率以及销孔中心的坐标位置并计算与示教位置的偏移量，并传给机器人进行旋转和平移。

最后将机器人抓手移动至正确位置对零件3进行抓取。

采用2D相机2与2D激光轮廓仪1相结合的测量架构，对于具有孔特征的大型零件实现三维姿态解算并完成高精度抓取，不仅精度高而且成本比3D相机低很多，有助于实现机器视觉抓取在工业领域的推广应用。

实施例2

在该实施例中，提供一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，如图2所示，所述系统包括：

机器人抓手，所述机器人抓手上设有定位销；

2D激光轮廓仪1，所述2D激光轮廓仪1设置在所述机器人抓手上；

2D相机2，所述2D相机2设置在所述机器人抓手上；

零件3，所述零件3为具有孔特征的大型零件；

控制器，所述控制器用于控制所述机器人抓手进行示教抓取、预抓取和正式抓取、控制2D激光轮廓仪1和2D相机2进行示教拍摄和预抓取拍摄。图中未画出机器人抓手和控制器，其中控制器可集成在机器抓手中也可是外部的控制器。

进一步地，所述控制器还用于比较所述预抓取和所述示教抓取的差别，得到偏移信息，并根据所述偏移信息对当前的预抓取进行数据补偿。

进一步地，系统包括两个2D激光轮廓仪1和1个2D相机2。具体地，为了实现大型零件的三维姿态测量，需要在机器人的抓手(带有定位销)上安装两个2048点的2D激光轮廓仪1和1个2D相机2，具体位置取决于零件3的形状与孔特征位置。

进一步地，所述两个2D激光轮廓仪1设在零件3所在平面区域的正上方，所述2D相机2设在两个相距较远的销孔上方。

进一步地，图2中标号4表示条形光源，方便打光拍照。

具体地，为了更好的测量该零件3的三维姿态，两个2D激光轮廓仪1的位置除了考虑尽量投射在零件3的平面区域，还要考虑两个因素：

1、投射激光线的长度：两个2D激光轮廓仪1的检测高度取决于投射激光线的长度，通常为了保证测量精度，激光线长度不小于300mm，如图3所示，假设激光的有效发散角θ为30°，那么激光的有效长度L和测量高度H的关系式为L＝H*tanθ，为了满足有效长度L＝300mm，那么H约为530mm。此时所满足的精度300/2048＝0.15mm，转化为角度精度，则arctan(0.15/300)＝0.028°。

2、两条激光线之间的距离：为了计算零件3的俯仰角度，需要两条激光线进行拟合出当前的零件所在平面，根据平面方程即可计算出俯仰角度，那么两条激光线之间的距离太近则拟合误差较大，因此，建议两条激光线的距离不小于300mm，精度分析同上。

同时，通过两条线激光可以测得零件平面相对示教位置的z方向的偏移量。

依据上述参数的实际测试流程如下：

首先进行位置示教，将抓手上的定位销按照标准抓取位置插入到销孔中，此过程保持零件水平，抓手定位销垂直；再将抓手垂直升起530mm，作为拍照点，进行拍照并记录当前激光的z位置数据和孔位的x、y数据，两个孔位连线的倾角，两条激光线所在平面的俯仰角数据，完成示教。

接着开始抓取零件3后，每次预先将抓手停留在拍照点位；

拍照后，获得当前激光的z位置数据和孔位的x、y数据，两个销孔孔位连线的倾角，两条激光线所在平面的俯仰角数据；通过控制器补偿当前零件的俯仰角偏移量和z偏移量，并调整机器人到相应位置。

再次拍照，通过2D相机2中的孔位的圆特征提取并计算质心位置可以计算零件在平面的旋转角度和x、y的偏移量，并调整机器人到相应位置。

调整完毕后，可以引导机器人下移，将定位销插入销孔，完成零件的抓取。该发明的装置可实现三维姿态的测量，并引导机器人完成三维抓取，成本相比与3D相机较低，且该方式抓取精度较高。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，其特征在于，所述方法包括：

将机器人抓手上的定位销准确插入待抓取零件(3)的销孔中，并在所述零件(3)上方选取拍摄点位；

将所述机器人抓手平移至所述拍摄点位，并通过2D相机(2)和两个2D激光轮廓仪(1)对零件(3)的姿态和销孔的位置进行示教拍摄，获得示教数据；

后续的每一次抓取前，将所述机器人抓手放置于所述拍摄点位，并进行预抓取拍摄，获得预抓取数据；

比较所述预抓取数据和所述示教数据的差别，得到偏移信息，并根据所述偏移信息对当前的预抓取数据进行补偿，得到正确的抓取信息；

根据所述抓取信息将机器人移动至正确位置完成对零件(3)的抓取。

2.根据权利要求1所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，其特征在于，所述示教数据包括两个2D激光轮廓仪(1)的两条激光线形成平面的法向量、两个销孔中心连线的斜率和两个销孔中心的坐标位置。

3.根据权利要求2所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，其特征在于，所述示教数据还包括进行示教拍摄时机器人抓手所在平面的法向量。

4.根据权利要求3所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，其特征在于，所述偏移信息包括预抓取时机器人抓手所在平面的法向量与示教拍摄时机器人抓手所在平面的法向量之间的偏移量。

5.根据权利要求3所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，其特征在于，所述偏移信息包括预抓取拍摄时与示教拍摄时两个销孔中心连线的斜率的偏移量、两个销孔中心的坐标位置的偏移量。

6.根据权利要求1所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取方法，其特征在于，所述将机器人抓手上的定位销准确插入待抓取零件(3)的销孔中，包括：

保持待抓取零件水平，机器人抓手的定位销垂直于所述零件(3)所在平面。

7.一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，其特征在于，所述系统包括：

机器人抓手，所述机器人抓手上设有定位销；

2D激光轮廓仪(1)，所述2D激光轮廓仪(1)设置在所述机器人抓手上；

2D相机(2)，所述2D相机(2)设置在所述机器人抓手上；

零件(3)，所述零件(3)为具有孔特征的大型零件；

控制器，所述控制器用于控制所述机器人抓手进行示教抓取、预抓取和正式抓取、控制2D激光轮廓仪(1)和2D相机(2)进行示教拍摄和预抓取拍摄。

8.根据权利要求7所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，其特征在于，所述控制器还用于比较所述预抓取和所述示教抓取的差别，得到偏移信息，并根据所述偏移信息对当前的预抓取进行数据补偿。

9.根据权利要求7所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，其特征在于，系统包括两个2D激光轮廓仪(1)和1个2D相机(2)。

10.根据权利要求9所述的一种基于2D激光轮廓仪与2D相机的带孔零件抓取系统，其特征在于，所述两个2D激光轮廓仪(1)设在零件(3)所在平面区域的正上方，所述2D相机(2)设在两个相距较远的销孔上方。

Images