CN113172629B - 一种基于时序触觉数据处理的物体抓取方法 - Google Patents

Abstract

本发明公开了基于时序触觉数据处理的物体抓取方法，包括：根据物体的位置信息获取最优抓取区域；当机械手运行到最优抓取区域时，控制机械手以预设的力闭合并停留多个触觉传感器采集周期，停留期间通过触觉传感器采集物体的触觉数据，包含机械手对物体施加的力的大小和方向信息；将每个采集周期的触觉数据转化为触觉图像，再将按时间排列的触觉图像作为初始的网络输入，利用预先训练好的力的跟踪运动网络，进行循环传递，预测出未来时序的若干帧触觉图像；将若干帧触觉图像构成的帧序列输入至预先训练好的LSTM分类网络中，输出表征本次抓取是否为稳定抓取的分类结果；若为稳抓取，则控制机械手进行抓取；反之，则控制机械手松开物体，结束。

Description

一种基于时序触觉数据处理的物体抓取方法

技术领域

本发明涉及机器人技术领域，具体涉及一种基于时序触觉数据处理的物体抓 取方法。

背景技术

随着人工智能与硬件设备的飞速发展，大大地推进了工业化进程与机器人科 学的发展。机器人的抓取功能是机器人最基本的功能，用来执行诸如分拣、拾取 等基本的任务操作。在工业生产环境或者物流分拣任务下，机器人抓取应用十分 常见。但是目前的抓取工作普遍使用单一模态——视觉对物体进行抓取预测，得 到适合机械手抓取的点。然而在利用视觉对抓取点进行判断时常常由于难以对物 体的重心和表面粗糙程度进行判断、客观存在机器人自身系统误差、视觉传感器 输入误差和环境噪声等因素，加上目标物体可能具有不规则几何外形，导致现有 的视觉抓取方式在执行抓取任务时抓取成功率降低。而在工业界场景中，物体的 摆放位置基本固定，机械臂只需要运行到指定位置闭合夹爪即可进行抓取。但是 由于物体可能密度分布不均或几何形状难以抓取可能会导致抓取失败。

一般地，用点接触抓取物体的方法都是首先通过固定的深度相机，获取目标 物体可见部分的点云信息，基于高斯过程重建曲面。通过设置满足稳定抓取的约 束条件，例如力封闭原则，筛选出满足条件的可行抓取点的集合，最后在仿真环 境和机器人实物上验证抓取的成功率。但是这种方式的弊端是：仅仅依靠视觉抓 取，从物体上获取的信息太少，很容易造成误判，从而导致抓取失败。当机械手 运行到物体所在位置后，在执行抓取任务时，首先是应当对物体表面特征进行判 断，而视觉无法做到这一点。

发明内容

本发明针对目前机器人抓取存在的难点，例如传感器精度、物体质心分布情 况难以简单通过视觉判定、物体的不规则外形和表面摩擦系数等造成抓取时发生 滑动从而导致抓取失败的情况，在视觉筛选的基础上，通过采集物体的触觉信息 并进行触觉数据处理，来预测力的运动情况，从而预判是否为稳定抓取，以此解 决目前的抓取方式抓取成功率低的问题。

为解决以上问题，本发明采用以下技术方案：

一种基于时序触觉数据处理的物体抓取方法，包括以下步骤：S1、根据物体 的位置信息获取最优抓取区域；S2、当机械手运行到所述最优抓取区域时，主控 制计算机生成控制指令，控制机械手以预设的力闭合并停留多个触觉传感器采集 周期，停留期间通过触觉传感器采集物体的触觉数据，所述触觉数据包含机械手 对物体施加的力的大小和方向信息；S3、将每个采集周期的触觉数据转化为触觉 图像，再将按时间排列的触觉图像进行时间维度上的叠加，得到叠加图像；S4、 以所述叠加图像作为初始的网络输入，利用预先训练好的力的跟踪运动网络，进 行循环传递，预测出未来时序的若干帧触觉图像；S5、将所述若干帧触觉图像构 成的帧序列输入至预先训练好的LSTM分类网络中进行分类，输出表征本次抓 取是否为稳定抓取的分类结果；S6、若所述分类结果显示本次抓取为稳抓取，则 主控制计算机控制机械手进行抓取；反之，则主控制计算机控制机械手松开物体， 本次抓取任务结束。

本发明上述技术方案的有益效果在于：首先，为了确保准确的抓取，建立了 基于二指机械手和目标物体之间的抓取坐标系，获取最优抓取区域，根据两者之 间的位姿关系能够准确的对目标物体进行定位和描述，也能够对抓取动作能够准 确的用参数化的方式进行描述；其次，通过基于触觉传感器的时序触觉数据处理 与预判方式，将采集到的触觉数据进行预处理形成触觉图像并经过力的跟踪运动 网络与LSTM分类网络对本次抓取质量进行预判，能够提高物体抓取的成功率。

附图说明

图1是本发明实施例基于时序触觉数据处理的物体抓取方法进行抓取质量 预判的神经网络示意图；

图2是本发明实施例一种力的跟踪运动网络示意图；

图3是本发明实施例一种LSTM分类网络示意图；

图4是一组触觉数据的可视化处理示意图；

图5是本发明实施例的抓取方法的实验系统架构图；

图6是本发明实施例基于时序触觉数据处理的物体抓取方法流程图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。

本发明实施例提出一种基于时序触觉数据处理的物体抓取方法，该方法包括 以下步骤S1～S6：

S1、根据物体的位置信息获取最优抓取区域。

对于待抓取的物体，其位置信息可以通过直接指定摆放位置的方式获取，在 获取了物体在空间中的位置信息之后，可以直接获知最优抓取区域。

另外，也可以通过计算机视觉的方式获取最优抓取区域：首先，利用3D深 度相机获取物体的图像信息；然后根据物体的图像信息筛选出满足力封闭条件的 可行抓取区域；最后将满足力封闭条件的可行抓取区域输入多层感知机，筛选出 视觉条件下最适合抓取的位置，也就是最优抓取区域。利用多层感知机从满足力 的封闭条件的可行抓取区域中筛选出最优抓取区域，主要是通过计算这些可行抓 取区域的抓取成功概率来筛选，筛选出成功抓取的概率最大的可行抓取区域，作 为最优抓取区域。对于抓取区域是否满足力的封闭条件的判断过程，属于现有技 术，在此不再赘述。

S2、当机械手运行到所述最优抓取区域时，主控制计算机生成控制指令，控 制机械手以预设的力闭合并停留多个触觉传感器采集周期，停留期间通过触觉传 感器采集物体的触觉数据，所述触觉数据包含机械手对物体施加的力的大小和方 向信息。

触觉传感器包含阵列式的多个采集点，当机械手闭合时，设置于机械手上的 触觉传感器的这些采集点可以采集物体不同部位的力的作用信息，包含x、y、z 三个轴的力及其大小。因此，在一个采集周期内，每个采集点可获得一个包含3 个元素的数组[F_x,F_y,F_z]，对于采集点排列方式为6×4的触觉传感器，则在一个 采集周期内，采集到的触觉数据是72个数组(每个数组包含3个元素)，并且 需要采集多个周期，因此采集数据具有高维的特性。在此前提下，需要先将采集 数据进行一系列的预处理，而不直接输入网络。

S3、将每个采集周期的触觉数据转化为触觉图像，再将按时间排列的触觉图 像进行时间维度上的叠加，得到一幅叠加图像。

将触觉数据转化为触觉图像的过程包括：

1)通过跟踪每个采集点的力的运动，对每个采集点的力的运动数据进行插 值，得到位移向量场。

2)对位移向量场进行迭代提取触觉位移图像，让后将采集时间窗口内的触 觉位移图像按时间顺序进行叠加，得到对应的触觉图像。

具体而言，可以在合适像素大小的画布上以一定的间隔画圆(比如在一张 600×400像素的画布上，以预设的间隔比如80像素画24个初始的圆，对应于24 个采集点)，x、y轴力的方向和大小表示圆在水平方向上偏离圆心的方向与大 小，而z轴测量的是抓取时施加给触觉传感器的压力，所以只考虑z轴方向上力 的大小，将力的大小作为圆心表示，这样就将触觉数据可视化为如图4中(a)所 示的图像。为了更好地可视化，在图4中(b)可以由浅深表示采集时间的前后关 系(颜色浅的表示采集时间在前，深的表示采集时间在后，这样就可以在一幅图 中包含整个采集时间窗的信息)，同时通过这样的表征方法也可以将触觉序列数 据转化为图像数据，方便处理与预测。

这样一来，对于目标物体，每一采集时刻所采集到的触觉数据可以可以可视 化为一幅触觉图像，根据采集时刻的时间先后顺序，可以得到按时间先后顺序排 列的触觉图像序列。

在本发明实施例中，通过图1所示的神经网络来对抓取质量进行预判。如图 1所示，该神经网络的输入即为经过前述数据预处理后的触觉图像，最终输出二 分类结果，0表示预测为不稳定抓取，1表示预测为稳定抓取。该神经网络由输 入端到输出端依次为输入、力的跟踪运动网络、向量化单元、LSTM分类网络、 输出。

在一些实施例中，为了进一步减小网络的前向传播时间，可以对原始的触觉 数据进行步长为2的二次采样之后再插值。

S4、以所述叠加图像作为初始的网络输入，利用预先训练好的力的跟踪运动 网络，进行循环传递，预测出未来时序的若干帧触觉图像。

图2为一种示例性的力的跟踪运动网络。如图2所示，所述力的跟踪运动网 络包括：由输入端至输出端依次连接的第一卷积层Conv1、若干串联的 ConvLSTM模块(图2中示例性地给出3个)、第二卷积层Conv2、下采样层和 第三卷积层Conv3。ConvLSTM模块使用的原因是可以提取空间和时间特征，在 前人工作中已经证明其可以成功地预测出未来的帧数，其为公知的网络，具体内 部结构在此不再赘述。因此ConvLSTM模块用于根据当前图像帧传播的时空特 征预测下一帧中每个像素的期望值，该期望值表征了下一帧中力在图像上可能运 动到哪个像素位置上以及概率，选概率最大的那种可能。在网络末端将第三卷积层Conv3的输出、第一卷积层Conv1的输出和网络输入三者进行叠加后作为输 出的预测图像，并作为新的网络输入进行循环传递。在该网络的最后，将特征图 由上采样与卷积层恢复到输入网络的图的原始大小，得到了预测的力的变化图， 并与当前帧之间进行叠加。由于力的变化通常是连续值，所以未来帧的预测可以 视作为当前帧很小的修改。我们将预测的下一帧与当前帧合并将作为新输入进行 循环传递。

时空序列的预测问题是在给定观测值(输入图像序列)的情况下，预测长度 为Np的最有可能的未来序列。对于像素运动网，在训练阶段使用的损失函数是 地面真实图像和预测值之间差值的L2-范数。假设未来的帧序列为T'，在输入序 列为T＝{N[1]，...，N[Nn]}的情况下，通过以下转换函数计算：

T'＝{N'[N_n+1],N'[N_n+2],…,N'[N_n+N_m]}＝f(T,θ_v)

其中，输入序列T包含N_n帧按时间排列的触觉图像N[1]～N[N_n]，即代表了 触觉图像在时间维度上叠加的叠加图像；预测序列包含预测的未来N_m帧触觉图 像N'[N_n+1]～N'[N_n+N_m]，f(T,θ_v)表示力的跟踪运动网络的变换函数，θ_v代表 力的跟踪运动网络的学习参数。

对于预测序列，时间越往后则预测的偏差会越大，因此优选地，预测的帧数 N_m不超过10帧。

损失函数为：

其中，T[N_n+k]表示地面真实图像的序列，长度为N_n+k。

S5、将所述若干帧触觉图像构成的帧序列输入至预先训练好的LSTM分类 网络中进行分类，输出表征本次抓取是否为稳定抓取的分类结果。

接触状态检测网络实质上是一个长短时记忆网络(LSTM)，输入到该网络的 是上一步所预测的未来触觉图像序列，网络输出是对接触状态的分类：滑动与稳 定两种状态，“滑动”对应于不稳定抓取的预判，分类结果为“0”；“稳定” 对应于稳定抓取的预判，分类结果为“1”。为了估计触觉图像序列的状态类型， 将最后一个隐藏状态向量输入级联的全连接层和一个Softmax层，最终输出二分 类结果。为了避免训练阶段的过拟合，可以在LSTM输出增加了两个丢弃率为 0.5的Dropout正则化层。训练时，损失函数是一个简单的多类交叉熵损失函数。

S6、若所述分类结果显示本次抓取为稳抓取，则主控制计算机控制机械手 进行抓取；反之，则主控制计算机控制机械手松开物体，本次抓取任务结束。

对本发明实施例如图1所示的神经网络进行训练时，训练集的获取：寻找到 生活中对称但是密度可能分布不均匀的物体20个，比如书本、饮料瓶或者其它 容器、水果等等。并对每个物体的不同部位使用不同的力持续采集100个传感器 采集周期的数据，并向上提起物体停留1000个采集周期时长，记录下本次物体 的抓取情况作为本组数据的标签(0表示不稳定抓取，1表示稳定抓取)。然后 对采集的触觉数据按照步骤S3进行处理，得到训练集。

本发明实施例的抓取方法的实验系统架构如图5所示，包括装配有二指机械 手4的六自由度机械臂6、一个六维力传感器、两个装配在二指机械手指尖的触 觉传感器、一个用来获取待抓取物体5信息的3D深度相机2(采用支架3进行 固定)和一个装有Windows操作系统的主控制计算机1。

通过3D深度相机采集关于待抓取的目标物体深度和RGB图像数字信息， 并将获得的物体位置信息传送给主控制计算机。

通过触觉传感器采集关于待抓取目标物体在末端执行器闭合期间的力的运 动信息，并将获得的物体信息传送给主控制计算机。

主控制计算机主要功能是处理视觉与触觉输入数据，通过3D摄像机得到的 深度与RGB图像数字信息，计算目标物体的三维坐标信息，随后通过逆运动学 解算，主控制计算机与机械臂控制器通信，实现机械臂的位置控制和二指机械手 的控制，完成抓取任务。

六自由度机械臂主要用来完成抓取任务。该机械臂控制器通过接收主控制计 算机发出的运动指令(该运动指令是根据目标物体的空间位置减去已测定的机械 臂末端二指机械手之间的尺寸，得到机械臂末端的空间位置，再经逆运动学解算 得到要完成抓取任务，生成机械臂末端需要移动到空间位置及其对应的各关节应 转动的角度指令)，运动到指定位置。

二指机械手是实现抓取任务的关键工具，当六自由度机械臂运动到指定位置 后，主控制计算机向机械手发出指令，使得机械手运动到特定位置后，通过开合 动作完成抓取。

六维力传感器是用来监测二指机械手在闭合时力的大小(即获取接触力的 值)，因为对于不同材质的物体在抓取中，物体与末端执行器接触面垂直方向上 的力的变化也不尽相同。在算法中将垂直方向上的力的变化也作为衡量能否实现 稳定抓取的判定依据之一。

本发明实施例的抓取方法所运行的软件系统是Visual Studio软件，通过3D 深度相机采集待抓取物体的深度信息和RGB信息，作为原始数据，在主控制计 算机上配置OpenNI采集这些信息，并用OpenCV进行数据的处理工作，实现目 标物体的抓取与定位，运行于ubuntu16.04系统。

采用本发明前述实施例的抓取方法，在前述的实验系统上执行物体抓取的流 程可参考图6，包括如下具体步骤：

步骤1.为了实现精确定位，首先对3D深度相机进行摄像头的标定，运用 张正友棋盘标定法来实现获得从世界坐标系向像素坐标系的转换矩阵。(3D深 度相机标定)

步骤2.由于实际的待抓取物体的识别过程中会存在背景的干扰，因此还需 要先进行背景干扰因素的滤除。获得仅含有待抓取物体的图像信息。在滤除背景 的步骤中，我们使用的开源的mask-rcnn网络对一幅图的做前景和和背景的二分 类，并且框选出前景中的物体，分类完成之后将背景做掩模操作，即，将背景部 分的图像的像素值都赋为0，从而消除背景对前景物体的影响。(分割点云，去 除噪声干扰)

步骤3.将步骤2中的图像进行预处理，即对视觉数据使用神经网络进行预 处理得到抓取候选集合，从中选择得分最高的候选作为机械手可行区域，即最优 抓取区域。所述预处理可以采用是否满足力的封闭条件来进行判断。

步骤4.机械手运行到最优抓取区域，根据六自由度机械臂与二指机械手之 间的位姿关系，主控制计算机将所选抓取区域的抓取点坐标通过moveit！软件转 换成机械臂运动的位姿指令和二指机械手开合的时序控制指令，分别向机械臂和 二指机械手发送。机械手以一定的力闭合，并停留100个时间周期对数据进行采 集；将采集到的二指传感器的数据传回主机先进行预处理，将每个时间周期的触 觉数据转化为触觉图像。将按时间排列的触觉图像进行时间维度上的叠加处理后 输入力的跟踪运动网络，预测出未来时序若干帧表征力的运动情况的触觉图像， 再将预测出的触觉图像序列输入到LSTM分类网络中进行分类，预判本次抓取 是否为稳定抓取。如果判断为稳定抓取机械臂继续执行后续操作，如果判断为不 稳定抓取机械臂末端执行器松开物体，任务结束。

具体指令顺序如下：初始状态下的机械手处于二指抓夹闭合且处于水平位 置，距离上方物体20cm，在机械臂运行到距离待抓取物体5cm的位置时，打开 二指机械手，机械臂调整位置和姿态避免和待抓取物体产生碰撞，当机械手到达 距离最佳抓取区域但没有接触时，机械手以一定的力闭合并停留一定的时间。抓 取指令完成。

步骤5.收到主控制计算机相应指令之后，机械臂运动到指定的空间位置并 调整末端姿态。机械臂到达期望位置后，二指机械手执行控制指令，完成抓取目 标物体动作。(机械臂和机械手先后执行任务，完成指令)

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能 认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员 来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而 且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于时序触觉数据处理的物体抓取方法，其特征在于，包括以下步骤：

S1、根据物体的位置信息获取最优抓取区域；

S2、当机械手运行到所述最优抓取区域时，主控制计算机生成控制指令，控制机械手以预设的力闭合并停留多个触觉传感器采集周期，停留期间通过触觉传感器采集物体的触觉数据，所述触觉数据包含机械手对物体施加的力的大小和方向信息；

S3、将每个采集周期的触觉数据转化为触觉图像，再将按时间排列的触觉图像进行时间维度上的叠加，得到叠加图像；

S4、以所述叠加图像作为初始的网络输入，利用预先训练好的力的跟踪运动网络，进行循环传递，预测出未来时序的若干帧触觉图像；

S5、将所述若干帧触觉图像构成的帧序列输入至预先训练好的LSTM分类网络中进行分类，输出表征本次抓取是否为稳定抓取的分类结果；

S6、若所述分类结果显示本次抓取为稳抓取，则主控制计算机控制机械手进行抓取；反之，则主控制计算机控制机械手松开物体，本次抓取任务结束。

2.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，步骤S1中通过直接指定物体的摆放位置来获得所述最优抓取区域。

3.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，步骤S1中通过视觉方式获取所述最优抓取区域，具体包括：

利用3D深度相机获取物体的图像信息；

根据物体的图像信息筛选出满足力封闭条件的可行抓取区域；

再将满足力封闭条件的可行抓取区域输入多层感知机，筛选出所述最优抓取区域。

4.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，所述力的跟踪运动网络包括：由输入端至输出端依次连接的第一卷积层、若干串联的ConvLSTM模块、第二卷积层、下采样层和第三卷积层；其中，所述ConvLSTM模块用于根据当前图像帧传播的时空特征预测下一帧中每个像素的期望值；在网络末端将第三卷积层的输出、第一卷积层的输出和网络输入三者进行叠加后作为输出的预测图像，并作为新的网络输入进行所述循环传递。

5.如权利要求4所述的基于时序触觉数据处理的物体抓取方法，其特征在于，在输入序列T＝{N[1],N[2],…,N[N_n]}的情况下，通过所述力的跟踪运动网络进行预测后输出的预测序列为：

T'＝{N'[N_n+1],N'[N_n+2],…,N'[N_n+N_m]}＝f(T,θ_v)

其中，输入序列T包含N_n帧按时间排列的触觉图像N[1]～N[N_n]，预测序列包含预测的未来N_m帧触觉图像N'[N_n+1]～N'[N_n+N_m]，f(T,θ_v)表示力的跟踪运动网络的变换函数，θ_v代表力的跟踪运动网络的学习参数。

6.如权利要求5所述的基于时序触觉数据处理的物体抓取方法，其特征在于，对所述力的跟踪运动网络进行训练时所使用的损失函数为地面真实图像与预测图像之间差值的L2-范数，具体形式如下：

其中，T[N_n+k]表示地面真实图像的序列，长度为N_n+k。

7.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，所述LSTM分类网络包括由输入端至输出端依次连接的向量化特征层、LSTM网络、全连接层和Softmax函数层。

8.如权利要求7所述的基于时序触觉数据处理的物体抓取方法，其特征在于，对所述LSTM分类网络进行训练时，为防止过拟合，在所述LSTM网络的输出端增加两个丢弃率为0.5的Dropout正则化层。

9.如权利要求7所述的基于时序触觉数据处理的物体抓取方法，其特征在于，对所述LSTM分类网络进行训练时所用的损失函数为多类交叉熵损失函数。

10.如权利要求1所述的基于时序触觉数据处理的物体抓取方法，其特征在于，步骤S3中将所述触觉数据转化为触觉图像包括：通过跟踪每个采集点的力的运动，对每个采集点的力的运动数据进行插值，得到位移向量场；对位移向量场进行迭代提取触觉位移图像，让后将采集时间窗口内的触觉位移图像按时间顺序进行叠加，得到对应的触觉图像。