CN110271000A - 一种基于椭圆形面接触的物体抓取方法 - Google Patents

Abstract

本发明公开了一种基于椭圆形面接触的物体抓取方法，包括以下步骤：S1、3D深度相机获取物体的图像信息；S2、主控制计算机判断所述图像信息中满足力封闭条件的可行抓取区域；S3、主控制计算机筛选出所述可行抓取区域中的最优可行抓取区域；S4、主控制计算机生成控制指令，控制机械臂和二指机械手对物体进行抓取动作。本发明通过对真实场景下机械手与目标物体的接触形状进行建模，得出椭圆形面接触模型下的力封闭条件，能够进一步还原机械手与目标物体接触的真实情况，通过卷积神经网络筛选出具有抓取概率的最优可行抓取区域，控制机械臂实现稳定抓取，从而在实际操作过程中能有较高的一次性抓取成功率，减少重复操作及抓取的时间成本和能源成本。

Description

一种基于椭圆形面接触的物体抓取方法

技术领域

本发明涉及机器人技术领域，尤其涉及一种基于椭圆形面接触的物体抓取方法。

背景技术

随着人工智能与硬件设备的飞速发展，大大的推进了工业化进程与机器人科学的发展。机器人的抓取功能是机器人最基本的功能，用来任务中执行诸如分拣，拾取等基本的任务操作。在工业生产环境或者物流分拣任务下，机器人抓取应用十分常见。但是机械手的结构非常简单，很多采用的是气动阀门，仅仅是控制机械手的张开与闭合，有的直接用吸盘来代替机械手完成抓取任务。这显然不能满足复杂环境中机器人完成难度较大任务的实际需要。由于客观存在机器人自身系统误差，视觉传感器输入误差和环境噪声等因素，加上目标物体可能具有不规则几何外形，现有的点接触的抓取方式导致了抓取任务执行时的困难从而导致抓取成功率降低。

因此，如何真实有效的对抓取过程中的接触区域建模从而实现稳定的抓取，对机器人完成高难度任务和扩大机器人的应用范围，推动机器人产业发展都具有重要意义。

一般的，用来用点接触抓取物体的方法都是首先通过固定的深度相机，获取目标物体可见部分的点云信息，基于高斯过程重建曲面。通过设置满足稳定抓取的约束条件，例如力封闭原则，筛选出满足条件的可行抓取区域的集合，最后在仿真环境和机器人实物上验证抓取的成功率。但是这种方式的弊端是：仅仅依靠点抓取，从物体上获取的信息太少，很容易造成误判，从而导致抓取失败。实际抓取时机械手与物体之间接触面的大小并不能近似等效成点，这就非常容易导致机械手在训练和仿真环境下抓取成功而在真实物理环境中抓取失败。

在机器人抓取力分析中的一个关键问题就是接触的建模问题。接触模型包括无摩擦点接触模型，带摩擦点接触模型，软手指接触模型三类。现有技术有利于在二指机械手抓取物体时，将机械手的手指与物体相接触的平面等效成一个点的解决方案，即点接触模型；在实际应用场景中，由摩擦力产生的自旋转矩不可以忽略，因为它是由接触面内的摩擦所引起的，是总滚动阻力的重要组成部分，且在实际问题中沿水平方向的分解力矩的大小可以忽略。所以导致接触区域无法等效成一个点。本方案在理想情况下建模，实际抓取过程中并不是理想条件，所以将无法等效成点的接触平面直接等效将会降低抓取的成功率。现有技术中有方案考虑到物体可能会有不规则的几何外形，为了稳健抓取，通过设计3种不同形状的机械手的手指以最大限度地扩大接触区域，其原理是，大多数物体外形共享几个类的局部几何。对输入的图像点云进行处理之后，采用树形结构作为决策过程，将一组抓取接触实例聚类为具有某种特征的类中，再通过将类与已有的手指形状进行匹配，找到合适的抓取点通过计算力封闭来筛选当前区域是否满足要求；但是，这种方案需要制作专门的手指进行抓取，增加了成本，对每种物体进行识别并匹配到不同的手指的过程太过耗时以至效率降低，对于每个手指的控制需要精确，这增加了计算成本以及运行效率。

发明内容

本发明目的是为了解决现有技术中机械手与目标物体真实接触区域形状无法精确建模的问题，提出一种基于椭圆形面接触的物体抓取方法。

本发明提出的一种基于椭圆形面接触的物体抓取方法，包括：S1、3D深度相机获取物体的图像信息；S2、主控制计算机判断所述图像信息中满足力封闭条件的可行抓取区域；S3、主控制计算机筛选出所述可行抓取区域中的最优可行抓取区域；S4、主控制计算机生成控制指令，控制机械臂和二指机械手对物体进行抓取动作。

优选地，在进行步骤S1前，对3D深度相机进行标定，获得从世界坐标系到像素坐标系的转换矩阵M。

优选地，步骤S2还包括先对所述图像信息进行去噪处理。

优选地，步骤S2判断可行抓取区域的步骤包括：S21、根据输入的所述图像信息，得到相机坐标系下物体的坐标[x,y,z]^T，根据转换矩阵M计算物体的世界坐标系下的三维坐标，其计算公式为：[x_r,y_r,z_r]T＝[x,y,z]^T×M；S22、计算出物体的所有三维点的平均坐标，作为该物体的质心坐标o，其公式为：o＝(x_ra+y_ra+z_ra)/3，其中，x_ra，y_ra，z_ra表示物体在x，y，z方向上的最远距离；S23、设定力封闭条件，进行数据筛选得出满足力封闭条件的可行抓取区域。

优选地，所述力封闭条件满足以下要求：

1)一对可行抓取区域之间的直线距离不能超出二指机械手的最大张开距离；

2)一对可行抓取区域必须满足表面摩擦极限条件，即：

其中，f_x、f_y为在机械手抓取物体在平移作用下，物体受到的切向力在速度单位矢量方向上的值；

τ_z为机械手与物体接触平移时沿接触面法线的力矩；

f_N为接触区域表面法线方向上的力；

r为机械手与物体接触的形状为椭圆，椭圆中任意一点到xy平面坐标原点之间的距离；

μ为滑动摩擦系数；

3)二指机械手不能斜向抓取，即抓取的方向和两个接触区域的法向都应位于同一平面内；

4)在闭合前，二指机械手在靠近目标过程中应避免提前接触物体。

优选地，所述步骤S3还包括对每组可行抓取区域的成功抓取概率进行计算，筛选出具有最大成功概率的一组最优可行抓取区域。

优选地，所述步骤S4包括计算机将最优可行抓取区域坐标转换成机械臂运动的位姿指令和二指机械手开合的时序控制指令。

优选地，筛选最优可行抓取区域采用卷积神经网络进行筛选。

优选地，所述去噪处理采用开源的mask-rcnn网络。

优选地，标定采用张正友棋盘标定法。

本发明的有益效果包括：通过对真实场景下机械手与目标物体的接触形状进行建模，得出椭圆形面接触模型下的力封闭条件，能够进一步还原机械手与目标物体接触的真实情况，通过卷积神经网络筛选出具有抓取概率的最优可行抓取区域，控制机械臂实现稳定抓取，从而在实际操作过程中能有较高的一次性抓取成功率，减少重复操作及抓取的时间成本和能源成本。

附图说明

图1是本发明实施例的工作流程图。

图2是本发明实施例中机械手与物体接触区域的压力示意图。

图3是本发明实施例中机械手与物体接触区域的切向力与力矩沿坐标轴分解示意图。

图4是物体抓取设备的系统示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

本发明中设计的关键术语定义如下：

A.力封闭条件：是指机械手能够实现施加在待抓取物体的接触力在满足相应的摩擦约束条件下能够平衡任意的外力和外力矩的能力。通常用来判断一种抓取方式是否满足力封闭条件的方法就是根据其对应的抓取矩阵是否为行满秩矩阵。(一般的，摩擦约束因机械手与待抓取物体之间的接触模型不同而不同。接触模型包括无摩擦点接触模型，带摩擦点接触模型，软手指接触模型三类，其中无摩擦点接触模型由于理想化的接触建模，没有摩擦约束；带摩擦点接触模型和软手指模型都存在相应的摩擦约束条件)本发明是带摩擦点接触模型。

B.抓取矩阵：是基于多维矢量空间，用来表示在所有接触点处抓取力与相关接触力之间的抓取映射关系。而这些接触力都必须满足对应接触模型下的摩擦约束条件。

C.卷积神经网络(Convolutional Neural Network)：是一种广泛应用于图像领域的包含卷积计算的具有深度结构的前馈人工神经网络。常见的结构为：输入-卷积层-池化层-卷积层-池化层-全连接层-输出。卷积神经网络的输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组。由于卷积神经网络在计算机视觉领域有广泛应用，因此许多研究在介绍其结构时预先假设了三维输入数据，即平面上的二维像素点和RGB通道。卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块(residual block)等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数，而池化层不包含权重系数。卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层通常搭建在卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。卷积神经网络中输出层的上游通常是全连接层，因此其结构和工作原理与传统前馈神经网络中的输出层相同。对于图像分类问题，输出层使用逻辑函数或归一化指数函数(softmax function)输出分类标签。

D.面接触：物体表面的接触状况，按初始几何条件可分为点接触和线接触两类。施加载荷后，接触点或接触线实际上变成接触面(圆、椭圆、矩形或梯形)。这里的接触面不是指包围出来的面积,而是指实际接触到的面积。接触部分的处理对于普通的接触模型而言,必须确定一对接触面,其中一个称为接触面,另一个称为目标面。而在本模型中机械手靠近物体并于物体接触的为接触面。

本发明提出一种基于椭圆形面接触的物体抓取方法，其包括基于面接触区域约束条件的卷积神经网络和机械臂控制两部分。对机械手与目标物体接触的区域建模，筛选出机械手可以进行抓取的区域，卷积神经网络是用来衡量目标物体与数据集中物体之间的相似程度。机械臂控制主要包括机械臂主体的运动控制，机械手的抓取位姿控制。

对于机器人要完成抓取任务来说，现在普遍存在的难点是传感器(一般是摄像机)的精度有限，目标物体的不规则外形和表面摩擦系数，客观的非理想化的环境，这些都造成了物体的表面信息不能准确的获取和无法准确的完成抓取任务。在本发明中，针对目标物体可能具有的不规则形状，设计了基于面接触建模条件下的卷积神经网络，能够真实的反映目标物体的表面形状信息并通过卷积神经网络能够提供满足力封闭原则，即能够实现稳定抓取的最大概率抓取区域位置坐标。为了确保准确的抓取，建立了基于二指机械手和目标物体之间的抓取坐标系。根据两者之间的位姿关系能够准确的对目标物体进行定位和描述，也能够对抓取动作能够准确的用参数化的方式进行描述。

为了使得物体可以被稳定抓取，面接触模型的假设如下：

(1)准静态物理(例如惯性项可以忽略不计)；

(2)机械手与物体接触的形状为椭圆，椭圆中任意一点到xy平面坐标原点之间的距离为r，与x轴间的夹角为θ；

(3)机械手形状表现为每单位长度的无限小弹簧环。具体地，我们假设接触坐标系中沿z轴的压力满足p(θ)＝kδ_z(θ)，其中δ_z是沿z轴的位移，而k∈R是弹簧常数(每单位长度)，目标物体没有沿x或y轴变形；

(4)接触面上的点处于静态平衡状态，沿平行位置的z轴线性位移：

δ_z(θ)＝δ₀+ar cos(θ)+br sin(θ)，

那么相应的p(θ)有δ_z(θ)＝p₀+p_xcos(θ)+p_ysin(θ)，其中，p₀,p_x,p_y均为实数。

根据赫兹接触理论，两个接触的线性弹性球的压力分布是椭圆形的。然而，随着两个粗糙度的曲率半径增加并且材料特性变为超弹性，压力分布变得更均匀并最终变得几乎是长方形。在本研究中，我们引入了一般压力分布函数，旨在捕获材料属性和接触几何与各种压力分布。因此，具有长半轴为a，短半轴为b的椭圆形接触区域的压力分布可以通常的形式写成如下：

其中N为机械手指尖施加给目标物体的压力，C_k为常数，与接触面的材料有关，所以整个接触区域的切向力可以通过对无穷小区域dA(库仑摩擦定律在dA上得到)上的剪力积分得到，上述力示意图如图2所示，

相似地，沿着接触面法线的力矩为：

与点接触模型中的力封闭条件相对应，在面接触模型中对候选区域采用“表面摩擦极限”约束条件进行筛选。

是单位矢量，用于描述只有旋转作用下时机械手收到的干扰。

所谓“表面摩擦极限”是指：极限表面是允许的切向力和力矩(f_t，τ_z)的临界值的集合，是机械手抓取目标物体发生滑动的临界条件。可以通过计算仅在平移作用下的最大摩擦力和仅在绕原点作用下的最大扭矩来近似摩擦极限表面，将切向力与力矩沿坐标轴分解如图3可得：

仅在平移作用下，切向力在速度单位矢量方向上具有最大值：

仅在旋转作用下，接触表面z轴的扭转力矩最大且可由单位矢量描述：

最后可以得到表面摩擦极限的数学表达式：

基于椭圆形面接触的物体抓取可以由以下硬件组成的系统实现，如图4所示，包括装配有二指机械手4的六自由度机械臂6、六维力传感器(图中未示出)、用来获取待抓取物体信息的3D深度相机2和装有Windows操作系统的主控制计算机1。

通过3D深度相机采集关于待抓取的目标物体深度和RGB图像数字信息，并将获得的物体信息传送给主控制计算机。

主控制计算机1主要功能是处理3D深度相机2得到的深度与RGB图像数字信息，计算目标物体5的三维坐标信息，随后通过逆运动学解算，主控制计算机1与机械臂6控制器通信，实现对机械臂6的位置控制和二指机械手4的控制，完成抓取任务。

六自由度机械臂6主要用来完成抓取任务。该机械臂控制器通过接收主控制计算机1发出的运动指令(该运动指令是根据目标物体的空间位置减去已测定的机械臂末端二指机械手之间的尺寸，得到机械臂末端的空间位置，再经逆运动学解算得到要完成抓取任务，生成机械臂末端需要移动到空间位置及其对应的各关节应转动的角度指令)，运动到指定位置。

二指机械手4是实现抓取任务的关键工具，当六自由度机械臂6运动到指定位置后，主控制计算机1向机械手6发出指令，使得机械手6运动到特定位置后，二指机械手4通过开合动作完成抓取。

六维力传感器是用来监测二指机械手在闭合时力的大小(即获取接触力的值)，因为对于软硬程度不同的物体在抓取中所需要的抓取力也不尽相同。在算法中将抓取力也作为衡量能否实现稳定抓取的判定依据之一。

通过3D深度相机采集待抓取物体的深度信息和RGB信息，作为原始数据，在主控制计算机上配置Open NI采集这些信息，并用Open CV进行数据的处理工作，实现目标物体的抓取与定位，运行于ubuntu16.04系统。

如图1所示，本发明包括以下步骤：

S1、3D深度相机获取物体的图像信息。

为了实现精确定位，首先可对3D深度相机进行摄像头标定，本实施例采用张正友棋盘标定法来实现获得从世界坐标系向像素坐标系的转换矩阵M。

S2、主控制计算机判断上述图像信息中满足力封闭条件的可行抓取区域。

可行抓取区域的选取包括以下步骤：

S2.1根据输入的图像信息，得到相机坐标系下物体的坐标[x,y,z]^T基于步骤1得到的转换矩阵M，计算待抓取物体的世界坐标系下的三维坐标[x_r,y_r,z_r]^T＝[x,y,z]^T×M。

S2.2计算待抓取物体所有三维点的平均坐标，作为该物体的质心坐标o(此处，假设所有的待抓取物体质量都是均匀分布的)，质心坐标o＝(x_ra+y_ra+z_ra)/3，其中，x_ra，y_ra，z_ra表示物体在x，y，z方向上的最远距离；

S2.3设定约束条件(力封闭条件)，进行数据筛选。可行抓取区域需要满足的四个约束条件为：

1)一对可行抓取区域之间的直线距离不能超出二指机械手的最大张开距离；

2)一对可行抓取区域必须满足所提出的表面摩擦极限条件，即：

其中，f_x、f_y为在机械手抓取物体在平移作用下，物体受到的切向力在速度单位矢量方向上的值；

τ_z为机械手与物体接触平移时沿接触面法线的力矩；

f_N为为接触区域表面法线方向上的力；

r为机械手与物体接触的形状为椭圆，椭圆中任意一点到xy平面坐标原点之间的距离；

μ为滑动摩擦系数；

3)二指机械手不能斜向抓取，即抓取的方向和两个接触区域的法向都应位于同一平面内；

4)在闭合前，二指机械手在靠近目标过程中应避免提前接触物体。若提前接触，可能会造成物体翻转、滚动，致使目标点发生变化，造成抓取失败。

由于实际的待抓取物体的识别过程中会存在背景的干扰，因此在进行可行抓取区域的判断前，还需要先进行背景干扰因素的滤除。获得仅含有待抓取物体的图像信息。在滤除背景的步骤中，我们使用的开源的mask-rcnn网络对一幅图的做前景和和背景的二分类，并且框选出前景中的物体，分类完成之后将背景做掩模操作，即，将背景部分的图像的像素值都赋为0，从而消除背景对前景物体的影响。

S3、主控制计算机筛选出上述可抓取点中的最优可行抓取区域。

通过步骤S2得到的满足力封闭条件的可行抓取区域，需要对其进一步筛选，对每组可抓取区域的成功抓取概率进行计算，最后对所有的概率进行从大到小降序排列，筛选出具有最大成功概率的那一对可行抓取区域，其中，通过卷积神经网络进行筛选，选出成功率最高的一对。

例如，二指机械手抓取桌面上的橙子。在整个指令开始之前，机械手处于相机视野中物体所在处的正上方20厘米处，二指机械手处于水平位置，且二指机械手处于闭合状态。当发出指令时，如果二指机械手靠近橙子并接触到橙子表面时二指机械手再张开，那么会造成橙子的翻滚，很有可能翻滚出相机视线范围，导致抓取失败。所以在得到橙子表面的最大可能抓取区域时，应在二指机械手距离为一个机二指械手长度的位置打开二指。

S4、主控制计算机生成控制指令，控制机械臂和二指机械手对物体进行抓取动作。

主控制计算机根据六自由度机械臂与二指机械手之间的位姿关系，将具有最大成功抓取概率的抓取点坐标通过moveit软件转换成机械臂运动的位姿指令和二指机械手开合的时序控制指令，分别向机械臂和二指机械手发送。机械臂和二指机械手收到主控制计算机相应指令之后，机械臂运动到指定的空间位置并调整末端姿态，到达期望位置后，二指机械手执行控制指令，完成抓取目标物体动作。在一实施例中，指令顺序如下：初始状态下的机械手处于二指抓夹闭合且处于水平位置，距离上方物体20cm，在机械臂运行到距离待抓取物体5cm的位置时，打开二指机械手，机械臂调整位置和姿态避免和待抓取物体产生碰撞，当机械手到达距离最佳抓取区域但没有接触时，机械手闭合，抓取动作完成。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例和附图仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其做出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (10)

1.一种基于椭圆形面接触的物体抓取方法，其特征在于，包括以下步骤：

S1、3D深度相机获取物体的图像信息；

S2、主控制计算机判断所述图像信息中满足力封闭条件的可行抓取区域；

S3、主控制计算机筛选出所述可行抓取区域中的最优可行抓取区域；

S4、主控制计算机生成控制指令，控制机械臂和二指机械手对物体进行抓取动作。

2.如权利要求1所述的基于椭圆形面接触的物体抓取方法，其特征在于：在进行步骤S1前，对3D深度相机进行标定，获得从世界坐标系到像素坐标系的转换矩阵M。

3.如权利要求1所述的基于椭圆形面接触的物体抓取方法，其特征在于：步骤S2还包括先对所述图像信息进行去噪处理。

4.如权利要求2所述的基于椭圆形面接触的物体抓取方法，其特征在于：步骤S2判断可行抓取区域的步骤包括：

S21、根据输入的所述图像信息，得到相机坐标系下物体的坐标[x,y,z]^T，根据转换矩阵M计算物体的世界坐标系下的三维坐标，其计算公式为：[x_r,y_r,z_r]T＝[x,y,z]^T×M；

S22、计算出物体的所有世界坐标系下三维点的平均坐标，作为该物体的质心坐标o，其公式为：o＝(x_ra+y_ra+z_ra)/3，其中，x_ra，y_ra，z_ra表示物体在x，y，z方向上的最远距离；

S23、设定力封闭条件，进行数据筛选得出满足力封闭条件的可行抓取区域。

5.如权利要求4所述的基于椭圆形面接触的物体抓取方法，其特征在于：所述力封闭条件满足以下要求：

1)一对可行抓取区域之间的直线距离不能超出二指机械手的最大张开距离；

2)一对可行抓取区域必须满足表面摩擦极限条件，即：

其中，f_x、f_y为在机械手抓取物体在平移作用下，物体受到的切向力在速度单位矢量方向上的值；

τ_z为机械手与物体接触平移时沿接触面法线的力矩；

f_N为接触区域表面法线方向上的力；

r为机械手与物体接触的形状为椭圆，椭圆中任意一点到xy平面坐标原点之间的距离；

μ为滑动摩擦系数；

3)二指机械手不能斜向抓取，即抓取的方向和两个接触区域的法向都应位于同一平面内；

4)在闭合前，二指机械手在靠近目标过程中应避免提前接触物体。

6.如权利要求1所述的基于椭圆形面接触的物体抓取方法，其特征在于：所述步骤S3还包括对每组可行抓取区域的成功抓取概率进行计算，筛选出具有最大成功概率的一组最优可行抓取区域。

7.如权利要求1所述的基于椭圆形面接触的物体抓取方法，其特征在于：所述步骤S4包括计算机将最优可行抓取区域坐标转换成机械臂运动的位姿指令和二指机械手开合的时序控制指令。

8.如权利要求6所述的基于椭圆形面接触的物体抓取方法，其特征在于：筛选最优可行抓取区域采用卷积神经网络进行筛选。

9.如权利要求3所述的基于椭圆形面接触的物体抓取方法，其特征在于：所述去噪处理采用开源的mask-rcnn网络。

10.如权利要求2所述的基于椭圆形面接触的物体抓取方法，其特征在于：所述标定采用张正友棋盘标定法。