CN111958604A - 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法 - Google Patents

Abstract

本发明公开了一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，包括以下步骤：S1：使标定板在工业相机中成像；S2：标定工业机器人坐标系与相机坐标系的位姿关系^BH_C；S3：记录机器人末端位姿^BDH_TD；S4：计算示教过程中异形产品在相机中的位姿^CH_O；S5：根据坐标系之间的转换关系，计算示教抓取过程中末端工具坐标系与异形毛刷坐标系之间的相对位姿关系^TDH_OD；S6：利用6D位姿测量算法计算出每一个异形毛刷位姿；S7：计算出工具坐标系的期望抓取位姿，控制机器人精确抓取，本发明涉及机械手抓取定位技术领域。该高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，解决了现有的机器人视觉抓取系统对于操作的技术人员要求较高，异形产品抓取放置效率低的问题。

Description

一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法

技术领域

本发明涉及机械手抓取定位技术领域，具体为一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法。

背景技术

机器人要实现自主抓取,首先机器人需要对环境进行感知,检测目标物体的位置、识别物体的类别、确定抓取目标物体的姿态,才可以规划机器人运动轨迹,并控制机器人实施抓取。工业机器人在抓取环节如果配置机器视觉装置，应用图像处理技术，在抓取效率和准确度方面就有优势。以图像处理作为机器人视觉系统处理的核心目标，将视觉图像技术与机器人工件抓取技术协作应用于工业机器人实训平台的抓取环节，利用工业机器人运动过程中坐标的转换，通过相机的正确标定与抓取动作共同控制，实现工件的精确定位，达到可靠抓取的目的。

现有的工业应用中机器人视觉系统对异形产品抓取较为困难和需要操作工人有一定的机器人视觉知识的问题，同时在产品转换过程中的示教抓取与视觉示教放置工作量较重与时间消耗较多，对于机器人视觉抓取操作系统的技术人员的专业水平要求较高，降低异形产品视觉示教抓取与视觉示教放置的效率，从而降低了基于机器人视觉的柔性化程度。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，解决了现有的机器人视觉抓取系统对于操作的技术人员要求较高，异形产品抓取放置效率低的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，包括离线示教和在线抓取两个阶段：

离线示教阶段：

步骤S1：将标定板安装在工业机器人末端，并调整工业机器人位姿，使标定板在工业相机中成像；

步骤S2：调整机器人位姿，获取多组机器人位姿与标定板图像对应，以此标定工业机器人坐标系与相机坐标系的位姿关系^BH_C；

步骤S3：将异形产品放置于工业相机视野中，拍照存储图像，然后调整工业机器人位姿，使其末端抓手精准抓取异形产品，记录机器人末端位姿^BDH_TD；

步骤S4：根据步骤S3中存储的产品图像，通过基于halcon的位姿测量算法，计算示教过程中异形产品在相机中的位姿^CH_O；

步骤S5：根据机器人坐标系、末端工具坐标系、相机坐标系和异形毛刷坐标系之间的转换关系，计算示教抓取过程中所对应的末端工具坐标系与异形毛刷坐标系之间的相对位姿关系^TDH_OD，完成示教。

在线抓取阶段：

步骤S6：对上料来的异形毛刷进行相机拍照，利用6D位姿测量算法计算出每一个异形毛刷位姿；

步骤S7：再利用步骤S5中示教的相对位姿^TDH_OD计算出工具坐标系的期望抓取位姿，控制机器人运动至此位姿精确抓取。

优选的，步骤S4具体为：(a)将异形毛刷的三维CAD模型导入视觉处理软件，将异形毛刷的三维CAD模型生成其对应的二维匹配图像库；

(b)利用工业相机采集工件的实时图像，并使用halcon函数find_shape_model_3d将异形毛刷的实时图像与(a)中生成的二维图像匹配库进行匹配。

优选的，所述步骤S4中采用的视觉处理软件为halcon，使用halcon的函数inspect_object_model_3d将异形毛刷的三维CAD模型生成其对应的二维匹配图像库。

优选的，步骤S5具体为：以{O}为物体坐标系，{C}为相机坐标系，{T}为末端抓手坐标系，{B}为机器人基础坐标系，使用eye-to-hand手眼标定系统确定物体坐标系、为相机坐标系、为末端抓手坐标系与机器人基础坐标系，物体到相机的坐标系位姿关系^CH_O与相机到基础坐标系的位姿关系^BH_C均为固定不变的关系，在示教中，^CDH_OD由拍照后基于CAD模型的单目6自由度位姿算法计算所得，此外，^BH_C在步骤S2中标定已知、^BDH_TD由机器人系统实时计算显示。

优选的，根据坐标系转换关系得到以下关系：

^BDH_OD＝^BH_C·^CDH_OD

^BDH_OD＝^BDH_TD·^TDH_OD

适当变形则可以得到

^TDH_OD＝(^BDH_TD)^-1BH_C·^CDH_OD

优选的，步骤S7具体为：

在线抓取阶段，根据当前拍照的异形毛刷产品照片计算出该产品与相机间的位姿转换关系^CH_O；由离线示教阶段获得的^TDH_OD示教位姿关系得：

^BH_O＝^BH_T·^TDH_OD

^BH_O＝^BH_C·^CH_O

则有

^BH_T＝^BH_C·^CH_O(^TDH_OD)

最终得到末端该移动的位姿，并进行精确抓取。

有益效果

本发明提供了一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法。具备以下有益效果：

该高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，针对工业应用中机器人视觉系统对异形产品抓取较为困难和需要操作工人有一定的机器人视觉知识的问题，提出了一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，节省大量的产品转换过程中的示教抓取与视觉示教放置工作量与时间，减小了机器人视觉抓取操作系统对技术人员的专业水平要求，提高了异形产品视觉示教抓取与视觉示教放置的效率，从而提高基于机器人视觉的柔性化程度。

附图说明

图1为本发明中示教抓取流程图；

图2为本发明相机与基础坐标系标定示意图；

图3为本发明末端抓手示教抓取位姿图；

图4为本发明坐标系统转换示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅说明书附图1-4，本发明提供一种技术方案：一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，包括离线示教和在线抓取两个阶段：

离线示教阶段：

步骤S1：将标定板安装在工业机器人末端，并调整工业机器人位姿，使标定板在工业相机中成像；

步骤S2：调整机器人位姿，获取多组机器人位姿与标定板图像对应，以此标定工业机器人坐标系与相机坐标系的位姿关系^BH_C(参见附图图2)；

步骤S3：将异形产品放置于工业相机视野中，拍照存储图像，然后调整工业机器人位姿，使其末端抓手精准抓取异形产品，记录机器人末端位姿^BDH_TD(参见附图图3)；

步骤S4：根据步骤S3中存储的产品图像，通过基于halcon的位姿测量算法，计算示教过程中异形产品在相机中的位姿^CH_O；

步骤S5：根据机器人坐标系、末端工具坐标系、相机坐标系和异形毛刷坐标系之间的转换关系，计算示教抓取过程中所对应的末端工具坐标系与异形毛刷坐标系之间的相对位姿关系^TDH_OD，完成示教。

在线抓取阶段：

步骤S6：对上料来的异形毛刷进行相机拍照，利用6D位姿测量算法计算出每一个异形毛刷位姿；

步骤S7：再利用步骤S5中示教的相对位姿^TDH_OD计算出工具坐标系的期望抓取位姿，控制机器人运动至此位姿精确抓取。

本实施例中，步骤S4具体为：

(a)将异形毛刷的三维CAD模型导入专业的视觉处理软件halcon，使用halcon的函数inspect_object_model_3d将异形毛刷的三维CAD模型生成其对应的二维匹配图像库。

(b)工业相机采集工件的实时图像，并使用halcon函数find_shape_model_3d将异形毛刷的实时图像与第一步中生成的二维图像匹配库进行匹配，以确定异形毛刷在工业相机坐标系中的位置与姿态。

本实施例中，步骤S5具体为：如附图图4所示，{O}为物体坐标系，{C}为相机坐标系，{T}为末端抓手坐标系，{B}为机器人基础坐标系。由于本发明中所使用的为eye-to-hand手眼标定系统，所以物体到相机的坐标系位姿关系^CH_O与相机到基础坐标系的位姿关系^BH_C均为固定不变的关系。示教中，^CDH_OD由拍照后基于CAD模型的单目6自由度位姿算法计算所得；此外，^BH_C在步骤S2中标定已知、^BDH_TD由机器人系统实时计算显示。将坐标系转换关系应用到此时的实际夹持结构中，得出以下关系：

^BDH_OD＝^BH_C·^CDH_OD

^BDH_OD＝^BDH_TD·^TDH_OD

则可以得到

^TDH_OD＝(^BDH_TD)^-1BH_C·^CDH_OD

本实施例中，步骤S7具体为：在线抓取阶段，根据当前拍照的异形毛刷产品照片计算出该产品与相机间的位姿转换关系^CH_O；由离线示教阶段获得的^TDH_OD示教位姿关系得：

^BH_O＝^BH_T·^TDH_OD

^BH_O＝^BH_C·^CH_O

则有

^BH_T＝^BH_C·^CH_O(^TDH_OD)

最终得到末端该移动的位姿，并进行精确抓取。

上述文本设计到的字母含义如下：

H-homogeneous，齐次的，一个4*4的矩阵，包含旋转和平移。

B-base，基坐标系(即机器人坐标系)

C-camera，相机坐标系

T-tool，机器人末端工具坐标系

O-object，目标物坐标系

D-demonstration，表示在示教过程中的齐次坐标系

例如^CDH_OD，表示在示教过程中的，目标物坐标系在相机坐标系中的相对位姿齐次矩阵，其他类似的字符均可按照上述思路进行解释。

例如^BH_C，表示在示教过程中的，工业机器人坐标系与相机坐标系的位姿关系，其他类似的字符可按照上述思路进行解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，其特征在于，包括离线示教和在线抓取两个阶段：

离线示教阶段：

步骤S1：将标定板安装在工业机器人末端，并调整工业机器人位姿，使标定板在工业相机中成像；

步骤S2：调整机器人位姿，获取多组机器人位姿与标定板图像对应，以此标定工业机器人坐标系与相机坐标系的位姿关系^BH_C；

步骤S3：将异形产品放置于工业相机视野中，拍照存储图像，然后调整工业机器人位姿，使其末端抓手精准抓取异形产品，记录机器人末端位姿^BDH_TD；

步骤S4：根据步骤S3中存储的产品图像，通过基于halcon的位姿测量算法，计算示教过程中异形产品在相机中的位姿^CH_O；

步骤S5：根据机器人坐标系、末端工具坐标系、相机坐标系和异形毛刷坐标系之间的转换关系，计算示教抓取过程中所对应的末端工具坐标系与异形毛刷坐标系之间的相对位姿关系^TDH_OD，完成示教。

在线抓取阶段：

步骤S6：对上料来的异形毛刷进行相机拍照，利用6D位姿测量算法计算出每一个异形毛刷位姿；

步骤S7：再利用步骤S5中示教的相对位姿^TDH_OD计算出工具坐标系的期望抓取位姿，控制机器人运动至此位姿精确抓取。

2.根据权利要求1所述的一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，其特征在于，步骤S4具体为：

(a)将异形毛刷的三维CAD模型导入视觉处理软件，将异形毛刷的三维CAD模型生成其对应的二维匹配图像库；

(b)利用工业相机采集工件的实时图像，并使用halcon函数find_shape_model_3d将异形毛刷的实时图像与(a)中生成的二维图像匹配库进行匹配。

3.根据权利要求2所述的一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，其特征在于：所述步骤S4中采用的视觉处理软件为halcon，使用halcon的函数inspect_object_model_3d将异形毛刷的三维CAD模型生成其对应的二维匹配图像库。

4.根据权利要求1所述的一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，其特征在于，步骤S5具体为：

以{O}为物体坐标系，{C}为相机坐标系，{T}为末端抓手坐标系，{B}为机器人基础坐标系，使用eye-to-hand手眼标定系统确定物体坐标系、为相机坐标系、为末端抓手坐标系与机器人基础坐标系，物体到相机的坐标系位姿关系^CH_O与相机到基础坐标系的位姿关系^BH_C均为固定不变的关系，在示教中，^CDH_OD由拍照后基于CAD模型的单目6自由度位姿算法计算所得，此外，^BH_C在步骤S2中标定已知、^BDH_TD由机器人系统实时计算显示。

5.根据权利要求4所述的一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，其特征在于：根据坐标系转换关系得到以下关系

^BDH_OD＝^BH_C·^CDH_OD

^BDH_OD＝^BDH_TD·^TDH_OD

适当变形则可以得到

^TDH_OD＝(^BDH_TD)^-1BH_C·^CDH_OD

6.根据权利要求1所述的一种高效的基于CAD模型的异形毛刷单目视觉示教抓取方法，其特征在于，步骤S7具体为：

在线抓取阶段，根据当前拍照的异形毛刷产品照片计算出该产品与相机间的位姿转换关系^CH_O；由离线示教阶段获得的^TDH_OD示教位姿关系得：

^BH_O＝^BH_T·^TDH_OD

^BH_O＝^BH_C·^CH_O

则有

^BH_T＝^BH_C·^CH_O(^TDH_OD)

最终得到末端该移动的位姿，并进行精确抓取。

Images