CN113977637A - 可用于非精度料箱的机器人视觉识别抓件系统及方法 - Google Patents

Abstract

本发明公开一种可用于非精度料箱的机器人视觉识别抓件系统及方法，包括料箱，料箱用于存放工件，工件表面设置有多个特征孔；机器人活动设置于料箱周围；至少两个相机，用于分别获取料箱中同一工件中的不同的特征孔的图像；控制模块用于读取相机拍摄到的特征孔的图像，并对图像内的工件的特征孔进行识别，根据特征孔对工件的三维姿态进行确认，以及计算出机器人抓取工件的路径后控制机器人对工件进行抓取。本系统及方法可以降低了车间从现有人工抓件到机器人视觉识别抓件的改造难度，实现对大件物体进行识别抓件，无需重新定制高精度料箱，可继续使用现有非精度料箱，节约了企业成本；对特征孔没有苛刻要求，适用于绝大多数车身零件，适用性强。

Description

可用于非精度料箱的机器人视觉识别抓件系统及方法

技术领域

本发明涉及机器人视角技术领域，尤其涉及一种可用于非精度料箱的机器人视觉识别抓件系统及方法。

背景技术

目前，在机器人视觉识别无序抓件领域有二种方法：1、基于2D的无序抓件，但2D的机器人视觉识别无法获得工件完整的三维信息，必须使用高精度料箱确保每次抓取时工件的一致性，且料箱摆放位置不能出现较大的浮动，对使用场景限制很大；2、基于3D的无序抓件，但3D的机器人视觉识别仅能在工作距离较短视野较小的情况下实现高精度抓取，不合适车厂大型零件的识别抓取。

发明内容

鉴于以上技术问题，本发明提供了一种可用于非精度料箱的机器人视觉识别抓件系统及方法，用以解决现有的3D机器人视觉识别仅能在工作距离较短视野较小的情况下实现高精度抓取，不合适车厂大型零件的识别抓取的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一方面，公开一种可用于非精度料箱的机器人视觉识别抓件系统，所述系统包括：

料箱，所述料箱用于存放工件，所述工件表面设置有多个特征孔；

机器人，所述机器人活动设置于所述料箱周围；

至少两个相机，用于分别获取所述料箱中同一所述工件中的不同的所述特征孔的图像；

控制模块，所述控制模块用于读取所述相机拍摄到的所述特征孔的图像，并对所述图像内的工件的所述特征孔进行识别，根据所述特征孔对所述工件的三维姿态进行确认，还用于计算出所述机器人抓取所述工件的路径后控制所述机器人对所述工件进行抓取。

进一步的，所述控制模块用于确定所述相机与所述机器人的第一空间位置关系，根据所述第一空间位置关系，确定所述特征孔与所述机器人的第二空间位置关系，根据所述第二空间位置关系，得到所述工件的三维姿态。

进一步的，所述确定所述相机与所述机器人的第一空间位置关系，具体包括：在所述相机固定在所述机器人上的固定位置时，所述相机获取与所述机器人的抓取部连接的标定板在不同位置下的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系。

进一步的，所述确定所述相机与所述机器人的第一空间位置关系，具体包括：在所述相机固定在所述机器人的抓取部时，所述机器人的抓取部移动所述相机以使得所述相机获得在不同位置下对标定板进行拍摄的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系。

进一步的，所述控制模块还包括建模单元，所述建模单元用于根据所述特征孔对所述工件的三维姿态进行确认，具体包括：

所述工件的三维模型为预先建模设定在所述控制模块中的，所述建模单元根据所述相机拍摄到的每个所述特征孔的图像与所述工件的三维模型进行匹配，得到所述工件的三维姿态。

进一步的，所述建模单元用于识别出当前每个所述特征孔的图像对应所述工件的位置，以及计算出所述特征孔相对应与所述机器人的三维坐标。

根据本公开的第二方面，提供一种可用于非精度料箱的机器人视觉识别抓件方法，能够适用于上述的系统，所述方法包括如下步骤：

选取位于料箱中的工件的至少两个特征孔，以每个选取的特征孔作为相机的视野中心，将所述相机安装在机器人上；

对所述相机与所述机器人进行手眼标定；

读取所述相机拍摄到的所述特征孔的图像，并对图像内的工件的所述特征孔进行识别，根据图像内的所述特征孔对所述工件的三维姿态进行确认；

根据所述工件的三维姿态，计算出所述机器人抓取所述工件的路径后控制所述机器人对所述工件进行抓取。

进一步的，所述根据所述特征孔对所述工件的三维姿态进行确认，包括：

确定所述相机与所述机器人的第一空间位置关系；

根据所述第一空间位置关系，确定所述特征孔与所述机器人的第二空间位置关系；

根据所述第二空间位置关系，得到所述工件的三维姿态。

进一步的，所述根据所述特征孔对所述工件的三维姿态进行确认，还包括：

根据所述相机拍摄到的每个所述特征孔的图像与所述工件的三维模型进行匹配，根据匹配结果和所述第二空间位置关系，得到所述工件的三维姿态，所述工件的三维模型为预先建模设定在所述控制模块中的。

进一步的，所述确定所述相机与所述机器人的第一空间位置关系，具体包括：

在所述相机固定在所述机器人上的固定位置时，所述相机获取与所述机器人的抓取部连接的标定板在不同位置下的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系；

在所述相机固定在所述机器人的抓取部时，所述机器人的抓取部移动所述相机以使得所述相机获得在不同位置下对标定板进行拍摄的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系。

本公开的技术方案具有以下有益效果：

本系统及方法可以降低了车间从现有人工抓件到机器人视觉识别抓件的改造难度，实现对大件物体进行识别抓件，无需重新定制高精度料箱，可继续使用现有非精度料箱，节约了企业成本；对特征孔没有苛刻要求，适用于绝大多数车身零件，适用性强。

附图说明

图1为本说明书实施例中可用于非精度料箱的机器人视觉识别抓件系统的原理框图；

图2为本说明书实施例中系统应用图示；

图3为本说明书实施例中工件的结构示意图；

图4为本说明书实施例中手眼标定原理图；

图5为本说明书实施例中又一手眼标定原理图；

图6为本说明书实施例中可用于非精度料箱的机器人视觉识别抓件方法的流程图。

附图标记：

1、料箱；2、工件；21、特征孔；3、机器人；4、相机；5、控制模块；51、建模单元；6、标定板。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“垂直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

如图1至图3所示，本说明书实施例提供一种可用于非精度料箱的机器人视觉识别抓件系统，系统包括：

料箱1，料箱1用于存放工件2，工件2表面设置有多个特征孔21；

机器人3，机器人3活动设置于料箱1周围；

至少两个相机4，用于分别获取料箱1中同一工件2中的不同的特征孔的图像；

控制模块5，控制模块5用于读取相机4拍摄到的特征孔的图像，并对图像内的工件2的特征孔进行识别，根据特征孔对工件2的三维姿态进行确认，还用于计算出机器人3抓取工件2的路径后控制机器人3对工件2进行抓取。

其中，机器人3可以是普通的二轴机械手，也可以是三轴机械手，相机4可以采用高精度小视野的3D相机，工件2可以是大件物品如汽车底板，特征孔21可以是工件2本身自带的孔位或易于识别的部位，也可以是为了便于抓取在工件2的特定位置上标注的记号，机器人3在对工件2进行抓取时，先利用相机4对工件2的局部位置进行拍摄，得到特征孔21的图像，再对包括特征孔21的图像进行分析，得到工件2在料箱1中的姿态和坐标位置，确定工件2的姿态和坐标位置后，机器人3便可以对工件2新型抓取。

在一实施方式中，控制模块5用于确定相机4与机器人3的第一空间位置关系，根据第一空间位置关系，确定特征孔与机器人3的第二空间位置关系，根据第二空间位置关系，得到工件2的三维姿态。

作为补充的，确定相机4与机器人3的第一空间位置关系，具体包括：在相机4固定在机器人3上的固定位置时，相机4获取与机器人3的抓取部连接的标定板在不同位置下的图像，控制模块5根据手眼标定算法，获得相机4与机器人3的第一空间位置关系。

具体的，当相机安装于固定位置或者机器人的二轴伺服或三轴伺服上时，手眼标定原理如图4所示，,需要计算得到相机4与机器人3的第一空间位置关系，即得到bas与cam的空间位置关系，即一个4*4的变换矩阵。其中cam指的是相机4，tool指的是机器人3的抓取部，bas为机器人3的基座，cal.object为标定板，通过移动tool带着标定板移动到相机4下方不同位置角度，由相机4多次拍摄标定板来计算得到，具体应用公式如下：

其中，每次移动tool，工件2坐标系相对于工具坐标系的位置是一定的，设其变换矩阵为

工具坐标系到基坐标系的变换关系也是一定的，预先设定的，设其变换矩阵为

相机4固定，所以相机坐标系相对于基坐标系的位置也是一定的，设其变换矩阵为

然后和单目标定一样，由标定板知道一个点在工件坐标系中的位置假设用cal表示，由相机又可得到这个点的像素坐标假设用cam表示，然后cal*H1*H2*H3＝cam，通过拍摄多组图，可以解得其中的三个矩阵方程。即可得到

即相机坐标系与基坐标系之间的位置关系，实际拍摄抓取时，通过相机4知道像素坐标后，再由上面公式可得到

然后左乘

的逆，就可得到

即工件2在基坐标系中的位置，即第二空间位置关系。

作为补充的，确定相机4与机器人3的第一空间位置关系，还可以包括：在相机4固定在机器人3的抓取部时，机器人3的抓取部移动相机4以使得相机4获得在不同位置下对标定板进行拍摄的图像，控制模块5根据手眼标定算法，获得相机4与机器人3的第一空间位置关系。

具体的，如图5所示，相机4固定在机器人3末端的抓取部上进行随臂式移动，我们需要的最终结果即得到cam与tool的空间位置关系，即一个4*4的变换矩阵，这个可以每次移动tool即相机4在不同位置角度多次拍摄标定板来计算得到。

设定位姿后，工件坐标系相对于基坐标系的位置是一定的，设其变换矩阵为

工具坐标系与基坐标系的变换关系也是一定的，一般由机器人厂家给定，设其变换矩阵为

相机4绑定在工具上，所以相机4相对与工具的位置也是一定的，设其变换矩阵为

然后由标定板知道一个点在工件坐标系中的位置假设用cal表示，由相机又可得到这个点的像素坐标假设用cam表示，然后cal*H1*H2*H3＝cam，通过拍摄多组图，可以解得其中的三个矩阵方程，即可得到

即相机坐标系和工具坐标系之间的位置关系。实际拍摄抓取时可获得像素坐标，通过以下公式：

便可得到

然后根据公式：

左乘以

的逆，再左乘以

的逆，就可得到

得到工件2在基坐标系中的位置，即第二空间位置关系；

在一实施方式中，控制模块5还包括建模单元51，建模单元51用于根据特征孔对工件2的三维姿态进行确认，具体包括：

工件2的三维模型为预先建模设定在控制模块5中的，建模单元51根据相机4拍摄到的每个特征孔的图像与工件2的三维模型进行匹配，得到工件2的三维姿态。

作为补充，建模单元51用于识别出当前每个特征孔的图像对应工件2的位置，以及计算出特征孔相对应与机器人3的三维坐标。

其中，三维模型指的是工件2的整体模型，三维模型中包括有特征孔的信息，即建模单元51对同一工件2的多个特征孔21进行识别，根据每个特征孔的位置信息的位置信息的不同，便可以确认整个工件在三维空间中的三维姿态。

本装置及方法可以降低了车间从现有人工抓件到机器人视觉识别抓件的改造难度，实现对大件物体进行识别抓件，无需重新定制高精度料箱，可继续使用现有非精度料箱，节约了企业成本；对特征孔没有苛刻要求，适用于绝大多数车身零件，适用性强。

以上是关于系统实施例的介绍，以下通过方法实施例，对本发明所述方案进行进一步说明，提供一种可用于非精度料箱的机器人视觉识别抓件方法，能够适用于上述的系统，如图6所示，方法包括如下步骤S601～S604：

在步骤S601中，选取位于料箱中的工件的至少两个特征孔，以每个选取的特征孔作为相机的视野中心，将相机安装在机器人上；

在步骤S602中，对相机与机器人进行手眼标定；

在步骤S603中，读取相机拍摄到的特征孔的图像，并对图像内的工件的特征孔进行识别，根据图像内的特征孔对工件的三维姿态进行确认；

在步骤S604中，根据工件的三维姿态，计算出机器人抓取工件的路径后控制机器人对工件进行抓取。

在一实施方式中，，根据特征孔对工件的三维姿态进行确认，包括：

确定相机与机器人的第一空间位置关系；

根据第一空间位置关系，确定特征孔与机器人的第二空间位置关系；

根据第二空间位置关系，得到工件的三维姿态。

在一实施方式中，根据特征孔对工件的三维姿态进行确认，还包括：

根据相机拍摄到的每个特征孔的图像与工件的三维模型进行匹配，根据匹配结果和第二空间位置关系，得到工件的三维姿态，工件的三维模型为预先建模设定在控制模块中的。

在一实施方式中，确定相机与机器人的第一空间位置关系，具体包括：

在相机固定在机器人上的固定位置时，相机获取与机器人的抓取部连接的标定板在不同位置下的图像，控制模块根据手眼标定算法，获得相机与机器人的第一空间位置关系；

在相机固定在机器人的抓取部时，机器人的抓取部移动相机以使得相机获得在不同位置下对标定板进行拍摄的图像，控制模块根据手眼标定算法，获得相机与机器人的第一空间位置关系。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在上面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (10)

1.一种可用于非精度料箱的机器人视觉识别抓件系统，其特征在于，所述系统包括：

料箱，所述料箱用于存放工件，所述工件表面设置有多个特征孔；

机器人，所述机器人活动设置于所述料箱周围；

至少两个相机，用于分别获取所述料箱中同一所述工件中的不同的所述特征孔的图像；

控制模块，所述控制模块用于读取所述相机拍摄到的所述特征孔的图像，并对所述图像内的工件的所述特征孔进行识别，根据所述特征孔对所述工件的三维姿态进行确认，还用于计算出所述机器人抓取所述工件的路径后控制所述机器人对所述工件进行抓取。

2.根据权利要求1所述的可用于非精度料箱的机器人视觉识别抓件系统，其特征在于，所述控制模块用于确定所述相机与所述机器人的第一空间位置关系，根据所述第一空间位置关系，确定所述特征孔与所述机器人的第二空间位置关系，根据所述第二空间位置关系，得到所述工件的三维姿态。

3.根据权利要求2所述的可用于非精度料箱的机器人视觉识别抓件系统，其特征在于，所述确定所述相机与所述机器人的第一空间位置关系，具体包括：在所述相机固定在所述机器人上的固定位置时，所述相机获取与所述机器人的抓取部连接的标定板在不同位置下的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系。

4.根据权利要求2所述的可用于非精度料箱的机器人视觉识别抓件系统，其特征在于，所述确定所述相机与所述机器人的第一空间位置关系，具体包括：在所述相机固定在所述机器人的抓取部时，所述机器人的抓取部移动所述相机以使得所述相机获得在不同位置下对标定板进行拍摄的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系。

5.根据权利要求1所述的可用于非精度料箱的机器人视觉识别抓件系统，其特征在于，所述控制模块还包括建模单元，所述建模单元用于根据所述特征孔对所述工件的三维姿态进行确认，具体包括：

所述工件的三维模型为预先建模设定在所述控制模块中的，所述建模单元根据所述相机拍摄到的每个所述特征孔的图像与所述工件的三维模型进行匹配，得到所述工件的三维姿态。

6.根据权利要求5所述的可用于非精度料箱的机器人视觉识别抓件系统，其特征在于，所述建模单元用于识别出当前每个所述特征孔的图像对应所述工件的位置，以及计算出所述特征孔相对应与所述机器人的三维坐标。

7.一种可用于非精度料箱的机器人视觉识别抓件方法，能够适用于权利要求1-6任一项所述的系统，其特征在于，包括如下步骤：

选取位于料箱中的工件的至少两个特征孔，以每个选取的特征孔作为相机的视野中心，将所述相机安装在机器人上；

对所述相机与所述机器人进行手眼标定；

读取所述相机拍摄到的所述特征孔的图像，并对图像内的工件的所述特征孔进行识别，根据图像内的所述特征孔对所述工件的三维姿态进行确认；

根据所述工件的三维姿态，计算出所述机器人抓取所述工件的路径后控制所述机器人对所述工件进行抓取。

8.根据权利要求7所述的可用于非精度料箱的机器人视觉识别抓件方法，其特征在于，所述根据所述特征孔对所述工件的三维姿态进行确认，包括：

确定所述相机与所述机器人的第一空间位置关系；

根据所述第一空间位置关系，确定所述特征孔与所述机器人的第二空间位置关系；根据所述第二空间位置关系，得到所述工件的三维姿态。

9.根据权利要求8所述的可用于非精度料箱的机器人视觉识别抓件方法，其特征在于，所述根据所述特征孔对所述工件的三维姿态进行确认，还包括：

根据所述相机拍摄到的每个所述特征孔的图像与所述工件的三维模型进行匹配，根据匹配结果和所述第二空间位置关系，得到所述工件的三维姿态，所述工件的三维模型为预先建模设定在所述控制模块中的。

10.根据权利要求8所述的可用于非精度料箱的机器人视觉识别抓件方法，其特征在于，所述确定所述相机与所述机器人的第一空间位置关系，具体包括：

在所述相机固定在所述机器人上的固定位置时，所述相机获取与所述机器人的抓取部连接的标定板在不同位置下的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系；

在所述相机固定在所述机器人的抓取部时，所述机器人的抓取部移动所述相机以使得所述相机获得在不同位置下对标定板进行拍摄的图像，所述控制模块根据手眼标定算法，获得所述相机与所述机器人的第一空间位置关系。

Images