CN108453743A - 机械臂抓取方法 - Google Patents

Abstract

本发明提供一种机械臂抓取方法，包括通过机器人操作系统建立中央控制器与视觉传感器、机械臂及机械手彼此间的通信机制，将待抓取物体放置在视觉传感器视野范围内，视觉传感器采集待抓取物体表面信息，中央控制器对视觉传感器采集到的数据进行处理，获得机械手可抓取的坐标点，根据视觉传感器与机械臂以及机械手的位置关系，中央控制器将可抓取点坐标换算为控制指令发送至机械臂和机械手，机械臂和机械手分别先后移动到指定位置，按控制指令抓取待抓取物体。本发明应用了线性组合核函数对形状不确定物体进行表面重建，这种办法需要的数据量小，只需使用一个观测相机，因此成本较低，具有良好的实用性。

Description

机械臂抓取方法

技术领域

本发明涉及机器人抓取领域，尤其涉及一种机械臂抓取方法。

背景技术

随着人工智能浪潮的兴起，机器人在各行各业发挥着日益重要的作用。对机器人而言，抓取是机器人走进真实世界必不可少的技能，比如在物流行业中对物体进行分拣，在工业生产线上完成零件的装配等。然而，机器人完成抓取任务仍然存在很多不确定性问题需要进一步研究。因此，如何处理不确定性从而提高抓取的成功率是非常值得研究的问题。一般的，抓取过程中的不确定性主要包括待抓取物体的形状不确定，待抓取物体的姿态不确定、机械手的接触点不确定以及物体的质量不确定等。

常见的用来处理机械臂抓取时，面对形状不确定物体的方法主要有两种：一种是除了摄像机之外，再依靠其他的单个或者多个传感器，如触觉传感器、力传感器、激光传感器等反馈更多的物体相关信息，弥补单一的相机带来的形状误差，最终通过控制多自由度的机械手完成抓取任务；另一种是将机器学习的方法运用到机械臂抓取当中，通过足够多的抓取实验得到的大量数据，作为机械臂和机械手可行抓取构型的训练集，得到一个由经验数据得到的抓取模型。当从摄像机获取的点云信息不够完整时，就将这部分的点云数据作为抓取模型的测试集，调出相应的机械臂抓取参数，驱动机械臂完成抓取任务。

然而这两种方式的缺点都很明显，第一种方法即使通过增加传感器的方式，来获取更多的物体信息，最终配合的是多自由度的机械手，这样做成本大大提高，不适用于工业生产和日常生活。第二种方法是通过大量的实验数据训练得到机械臂抓取模型，要获得这么多的数据需要足够长的时间和操作机械臂完成足够多的抓取次数，这样使得机械臂的使用寿命大大降低。

发明内容

有鉴于此，有必要提供一种机械臂抓取方法，其成本较低，实用性好。

一种机械臂抓取方法，所述方法包括以下步骤：

步骤1，将待抓取物体放置在视觉传感器视野范围内，视觉传感器采集待抓取物体表面信息；

步骤2，中央控制器对视觉传感器采集到的数据进行处理，获得机械手可抓取的坐标；

步骤3，根据视觉传感器与机械臂以及机械手的位置和姿态关系，中央控制器将可抓取坐标换算为控制指令发送至机械臂和机械手；

步骤4，机械臂和机械手分别先后移动到指定位置，按控制指令抓取待抓取物体。

进一步的，所述步骤2包括：

通过机器人操作系统计算视觉传感器采集的待抓取物体的数据点的平均坐标，作为该待抓取物体的质心坐标；

计算待抓取物体的所有数据点相对于质心点的相对坐标；

将所有相对坐标代入已设定的约束条件，获得满足约束条件的所有数据点的集合；

将所有满足约束条件的数据点坐标进行高斯滤波处理，随后对滤波后的结果进行排列，取不确定性最小的抓取点。

进一步的，所述视觉传感器为RGB-D观测相机。

进一步的，所述中央控制器中设有Ubuntu系统，所述机器人操作系统在所述Ubuntu系统中运行。

进一步的，所述方法中视觉传感器和机械臂的基座相对固定，用于减少系统误差。

进一步的，所述视觉传感器采集的数据包括待抓取物体表面点的三维坐标及其对应的法向量。

进一步的，所述约束条件包括可行抓取点之间的距离小于机械手最大的张开距离。

进一步的，所述约束条件还包括机械手的抓取点的摩擦角设置为大于可行抓取点之间的法向量的夹角。

进一步的，所述高斯滤波处理过程为将满足所述约束条件的数据点代入线性组合核函数进行计算，获取数据点之间的相关系数。

进一步的，所述线性组合核函数为高斯核函数与薄板核函数的线性组合。

本发明中使用的方法是基于高斯滤波过程，应用了线性组合核函数对形状不确定物体进行表面重建，并在相应的约束条件下提取可行的抓取点，将其作为机械臂控制系统的输入，完成抓取任务，本发明提供的方法需要的数据量小，只需使用一个观测相机，因此成本较低，具有良好的实用性。

附图说明

图1为本发明一实施方式中的机械臂抓取方法的流程示意图。

图2为本发明一实施方式中的视觉传感器标定过程示意图。

图3为本发明一实施方式中可抓取坐标点的获取方法的流程示意图。

图4为本发明一实施方式中抓取示意图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，图1为本发明提供的一实施例中一种面向形状不确定物体的机械臂抓取方法的流程示意图，具体包括以下步骤：

S11，通过机器人操作系统建立中央控制器与视觉传感器、机械臂及机械手彼此间的通信初始化配置；具体的，在中央控制器的Ubuntu系统中运行ROSindigo软件，对视觉传感器、机械臂及机械手进行彼此间的通信功能初始化配置。

S12，将待抓取物体放置在视觉传感器的视野范围内，视觉传感器采集待抓取物体表面信息；具体的，将待抓取物体放置在视觉传感器的视野范围内，中央控制器发出指令使视觉传感器采集待抓取物体可见的表面信息，主要是待抓取物体表面点的三维坐标及其对应的法向量。

S13，中央控制器对视觉传感器采集到的数据进行处理，获得机械手可抓取的坐标；具体的，将视觉传感器采集到的数据传送到中央控制器，中央控制器通过机器人操作系统对数据进行处理，获得可行的抓取坐标。

S14，根据视觉传感器与机械臂以及机械手的位置和姿态关系，中央控制器通过机器人操作系统将可抓取坐标换算为控制指令发送至机械臂和机械手；具体的，在机器人操作系统中根据已经标定好的视觉传感器与机械臂以及机械手间的位置和姿态关系，中央控制器通过机器人操作系统将可行的抓取坐标换算成机械臂运动到相应位置的控制指令和机械手何时张闭的控制指令，分别发送至机械臂和机械手。

S15，机械臂和机械手分别先后移动到指定位置，按控制指令抓取待抓取物体。具体的，收到中央控制器发出的控制指令后，机械臂优先响应，运动到指定的位置并调整相应的末端姿态，待机械臂完成控制指令后，机械手开始执行相应的控制指令，抓取目标物体。

在本实施方式中，所述机器人操作系统为ROS，在其他实施方式中，所述机器人操作系统还可以为Turing OS。

在本实施方式中，机械臂抓取系统由视觉传感器、中央控制器、机械臂及机械手组成，其中，视觉传感器为RGB-D观测相机，具体的为Kinect相机，机械臂为UR5机械臂，机械手为二指平行机械手，中央控制器为装有Ubuntu操作系统的台式电脑。在其他实施方式中，RGB-D观测相机还可以为Nimble、ThisVR等相机，中央控制器还可以为笔记本电脑、PDA或其他智能终端。

在本实施方式中，所述步骤S12中视觉传感器将采集到的待抓取物体可见的表面信息存成OBJ文件格式，便于中央控制器后期读取处理。

请参阅图2，图2为视觉传感器标定过程示意图，标定过程即为确定视觉传感器、机械臂及机械手之间的位置和姿态关系，在本实施方式中，视觉传感器和机械臂的基座相对固定的，可有效减少系统误差。

图2中B系为机械臂的固定坐标系，C系为视觉传感器坐标系，D系为标定板坐标系，标定板与机械臂末端固定，E系为机械手坐标系。标定过程为驱动机械臂到几个不同的空间位置，使得视觉传感器在此过程中都能看到标定板。在此过程中标定板坐标系与机械手坐标系的空间位姿是固定的，即T2位姿矩阵是始终不变的。所以视觉传感器在机械臂固定坐标系下的位姿矩阵T4＝T1×T2×T3，分别对两次过程有：T1×T2×T3＝T1'×T2×T3'，这样就能求得B系的具体数值，进而能够求得视觉传感器在机械臂固定坐标系中的位姿关系T4。

请参阅图3，图3为一种可抓取坐标点的获取方法的流程示意图，具体包括以下步骤：

S31，通过机器人操作系统计算视觉传感器采集的待抓取物体的数据点的平均坐标，作为该待抓取物体的质心坐标；

S32，计算待抓取物体的所有数据点相对于质心点的相对坐标；

S33，将所有相对坐标代入已设定的约束条件，获得满足约束条件的所有数据点的集合；

S34，将所有满足约束条件的数据点坐标进行高斯滤波处理，随后对滤波后的结果进行排列，取不确定性最小的抓取点。

在本实施方式中，因机械手为二指平行机械手，所以选取的可行抓取点为一对，在其他实施方式中，可以根据机械手的具体的爪数确定需要选取的可行抓取点的数量。

在本实施方式中，所述步骤33中的约束条件为手部约束，抓取稳定约束，被抓物体约束。

具体的，手部约束主要是由于不同的机械手由于自身的机械结构限制，对于某些抓取动作无法完成。在本实施方式中，限定一对可行抓取点之间的距离不能超过二指平行机械手的最大张开距离，因二指平行机械手是平行抓取，所以为防止斜向抓取造成抓取失败，二指平行机械手的抓取方向与选定的可行抓取点的法向量平行。

抓取稳定的前提条件就是抓取产生的摩擦力能够支撑被抓物体的重力，另外，由于可行的抓取点中有一个点位于凹处，这样二指平行机械手靠近待抓取物体时就容易造成提前触碰物体，造成物体翻转，导致抓取失败，因此，在本实施方式中，二指平行机械手的抓取点的摩擦角设置为大于两个可行抓取点之间的法向量的夹角。

对被抓物体的约束，显而易见的，可行的抓取点必须在待抓物体表面，符合手部约束和抓取稳定约束的可行抓取点可能不止一对，所以在本实施方式中，对符合以上所有约束条件的可行抓取点的不确定性进行由低到高排列，选取不确定性最小的一对抓取点。

在本实施方式中，所述步骤S34中的高斯滤波即为将所有符合约束条件的数据点代入相应的核函数进行计算，得到每两个数据点之间的不确定性的量化。所述不确定性的量化具体为面对形状不确定的待抓取物体，得到的若干符合约束条件的可抓取数据点还存在是否能成功抓取的不确定性，通过核函数计算符合约束条件的每两个数据点之间的相关系数，通过具体的数值将不确定性进行量化，通过具体的直观的数值选取最适合的抓取点，以保证成功的抓取待抓物体。

如图4所示，图中明确表示了与抓取有关的变量，其中C1C2是符合上述各个约束条件的一对可行的抓取点，n1n2分别是C1C2点的法向量，g1g2表示二指平行机械手与可行抓取点重合的点，这样g1g2就表示抓取的方向，W表示二指平行机械手张开的宽度。

核函数定义了一个从低纬度到高纬度的映射，在本实施方式中，为了利用视觉传感器获得的数据重建物体表面抓取模型，应用核函数将三维空间数据点(x，y，z)映射到思维空间(d，nx，ny，nz)，其中d表示两个数据点之间的距离，以此来量化不确定性，在本实施方式中，高斯滤波处理过程利用线性组合核函数处理数据点，具体的，将具有鲁棒性的高斯核函数与对平滑连续表面具有非常好的适应性的薄板核函数组合。

由于视觉传感器采集物体表面信息时自身的精度和环境噪声的客观存在，噪声将会导致误差的累计传递，高斯滤波处理过程利用线性组合核函数，将高斯核函数与对薄板核函数线性组合，能够保证尽可能的适应多的被抓物体以及有效消除噪声。

本发明中使用的方法是基于高斯滤波过程，应用了线性组合核函数对形状不确定物体进行表面重建，并在相应的约束条件下提取可行的抓取点，将其作为机械臂控制系统的输入，完成抓取任务，本发明提供的方法需要的数据量小，只需使用一个观测相机，因此成本较低，具有良好的实用性。

本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围的内，对以上实施方式所作的适当改变和变化都落在本发明要求保护的范围的内。

Claims (10)

1.一种机械臂抓取方法，其特征在于，所述方法包括以下步骤：

步骤1，将待抓取物体放置在视觉传感器视野范围内，视觉传感器采集待抓取物体表面信息；

步骤2，中央控制器对视觉传感器采集到的数据进行处理，获得机械手可抓取的坐标；

步骤3，根据视觉传感器与机械臂以及机械手的位置和姿态关系，中央控制器将可抓取坐标换算为控制指令发送至机械臂和机械手；

步骤4，机械臂和机械手分别先后移动到指定位置，按控制指令抓取待抓取物体。

2.如权利要求1所述的机械臂抓取方法，其特征在于：所述步骤2包括：

通过机器人操作系统计算视觉传感器采集的待抓取物体的数据点的平均坐标，作为该待抓取物体的质心坐标；

计算待抓取物体的所有数据点相对于质心点的相对坐标；

将所有相对坐标代入已设定的约束条件，获得满足约束条件的所有数据点的集合；

将所有满足约束条件的数据点坐标进行高斯滤波处理，随后对滤波后的结果进行排列，取不确定性最小的抓取点。

3.如权利要求1所述的机械臂抓取方法，其特征在于：所述视觉传感器为RGB-D观测相机。

4.如权利要求1所述的机械臂抓取方法，其特征在于：所述中央控制器中设有Ubuntu系统，所述机器人操作系统在所述Ubuntu系统中运行。

5.如权利要求1所述的机械臂抓取方法，其特征在于：所述方法中视觉传感器和机械臂的基座相对固定，用于减少系统误差。

6.如权利要求1所述的机械臂抓取方法，其特征在于：所述视觉传感器采集的数据包括待抓取物体表面点的三维坐标及其对应的法向量。

7.如权利要求2所述的机械臂抓取方法，其特征在于：所述约束条件包括可行抓取点之间的距离小于机械手最大的张开距离。

8.如权利要求7所述的机械臂抓取方法，其特征在于：所述约束条件还包括机械手的抓取点的摩擦角设置为大于可行抓取点之间的法向量的夹角。

9.如权利要求2所述的机械臂抓取方法，其特征在于：所述高斯滤波处理过程为将满足所述约束条件的数据点代入线性组合核函数进行计算，获取数据点之间的相关系数。

10.如权利要求9所述的机械臂抓取方法，其特征在于：所述线性组合核函数为高斯核函数与薄板核函数的线性组合。