CN112936275A - 一种基于深度相机的机械臂抓取系统和控制方法 - Google Patents

Abstract

本发明公开了一种基于深度相机的机械臂抓取系统，包括计算机、深度摄像头、机械臂、AGV小车、遥控器。计算机搭载并运行ROS；深度摄像头与计算机相连；机械臂包括六轴机械臂和夹爪，夹爪安装于机械臂末端；AGV小车上方平台搭载六轴机械臂，遥控器与计算机相连。还提供相应的抓取方法。本发明系统基于ROS体系构建，可准确识别并定位目标物体的位置坐标，控制AGV小车移动和控制六轴机械臂自动抓取目标物体。操作者操控遥控手柄控制AGV小车到达目标物体抓取范围内，计算机通过深度摄像头获取目标物体的图像，图像经算法处理计算出目标物体最佳抓取点的位姿和位置坐标，计算机发送抓取指令到机械臂，机械臂自动抓取目标物体。

Description

一种基于深度相机的机械臂抓取系统和控制方法

技术领域

本发明属于机器视觉和深度学习领域，具体涉及一种基于深度相机的机械臂抓取系统和控制方法。

背景技术

移动机器人和机械臂控制技术已经应用在了各个工业领域，机械臂在产线上的投入可以降低劳动成本，使产品生产标准化、自动化、高效化。机械臂可以代替人工在一些高危环境、高限制环境下的工作，保证了生产的安全性、稳定性、连续性。移动机器人的控制技术在今年来有了很大的提升，已成熟的应用于生产业、建筑业、服务业等，协助或者去到人类的工作。但是早期的机械臂抓取通过“示范教学”的方式，让机械臂沿着预定设好的运动规划运动，当抓取的物体形状、位置、摆放方向改变则抓取的成功率会大大降低，对于多变的环境不具备适应性。

现有的机械臂抓取系统，例如公开号为CN111482967A，名称为“一种基于ROS平台的智能检测与抓取方法”的中国专利申请，该申请采取固定机械臂的策略，限制了机械臂的工作范围；使用一个基于Faster RCNN网络模型的对象检测系统来获取待抓取物体中心的坐标，虽然保证了正确率，但检测速度相对较慢。

发明内容

针对现有技术存在的缺陷和不足，为了解决机械臂抓取复杂环境适应性差、开发难度较高的问题，本发明提出一种基于深度相机的机械臂抓取系统和控制方法，通过遥控手柄发布话题控制AGV小车移动，基于深度学习框架下的目标检测算法实现目标物体的抓取点定位，ROS系统下实现机械臂的运动规划和运动控制，实现了搭载机械臂的AGV小车系统的智能抓取。

为了实现本发明目的，本发明提供一种基于深度相机的机械臂抓取系统，包括机械臂机构、AGV小车、深度摄像头、计算机和遥控器，

所述机械臂机构包括机械臂、安装于机械臂末端的夹爪和机械臂，且所述机械臂机构安装在所述AGV小车上；

所述遥控器与计算机相连，用于发送信息到计算机；

所述深度摄像头用于采集目标物体的图像，且与计算机相连以将采集到的图像传输给计算机；

所述计算机搭载并运行ROS，用于获得目标物体最佳抓取点的位姿和位置坐标并发送抓取指令给所述机械臂机构。

本发明系统基于ROS体系构建，能够准确的识别并定位目标物体的位置坐标，控制AGV小车移动和控制机械臂自动抓取目标物品。操作者操控遥控手柄控制AGV小车到达目标物体抓取范围内，计算机通过深度摄像头获取目标物体的图像，图像经计算机目标检测算法处理计算出目标物体最佳抓取点的位姿和位置坐标，计算机发送抓取指令到机械臂，机械臂自动抓取目标物体。

进一步地，所述计算机的操作系统为Ubuntu16.04。

进一步地，计算机通过基于Python开发的universal robot工具包urx连接机械臂机构并发送抓取指令。

本发明还提供一种基于深度相机的机械臂抓取控制方法，包括以下步骤：

通过所述遥控器控制所述AGV小车到达目标物体的抓取范围内；

所述深度摄像头采集目标物体的图像，并将图像传输给所述计算机；

所述计算机通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标，并根据所述位姿和所述位置坐标进行运动规划，发送抓取指令到所述机械臂机构；

所述机械臂机构根据所述抓取指令抓取目标物体。

进一步地，所述通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标中，所述目标检测算法具体包括以下步骤：

将从深度摄像头获取的图像进行预处理，再划分为S×S的格子网络；

每个格子输出B个预测框信息，以及C个目标属于某类的概率，C表示目标检测分类的种类；所述预测框信息包括(x,y,w,h,confidence)，x,y表示预测框中心与该格子边界的相对值，w,h表示预测框的宽度和高度相对整幅图像的宽度和高度的比例，confidence＝P(obj)*IoU，P(obj)为当前格子有目标的概率，IoU表示两个预测框的重叠率；

计算每一个预测框的置信度，选出物体在图像中的像素位置；

通过建立的三维坐标模型，转化得到目标物体的位姿；

将目标物体的位姿发送给机械臂机构。

进一步地，所述根据所述位姿和所述位置坐标进行运动规划中，使用一个movel函数实现机械臂末端的位置控制，movel函数的定义如下：

def movel(self,tpose,acc＝0.01,vel＝0.01,wait＝True)，movel函数有四个关键的参数：

tpose表示机械臂相对抓取目标的状态(v,u,z,rv,ru,rz)，其中，以机械臂的末端为坐标原点建立三维坐标系，机械臂的末端垂直于地面，以机械臂末端到地面为z轴正方向，v,u与z轴垂直且互相垂直，(v,u,z)表示机械臂的末端分别在v、u、z方向上的运动距离，(rv,ru,rz)为机械臂的末端分别围绕v、u、z方向旋转的角度；acc表示机械臂末端的加速度，具有默认值0.01；vel表示机械臂末端的运动速度，具有默认值0.01；wait表示是否停顿，计算出最佳抓取点的位姿后，位姿均分到v、u、z三个方向上，得到v,u,z,rv,ru,rz的值，由此实现机械臂的自动控制。

进一步地，所述遥控器的遥控手柄的控制信息以话题的方法发布到计算机，各控制按钮对应各定义的指令，所述控制按钮包括恒速方向按钮、变速方向摇杆、启动停止按钮，所述AGV小车的轮子速度控制采用速度环-电流环双环结构，控制流程包括：

S1、遥控手柄发布目标速度值V1，目标速度值V1输入速度控制器；

S2、速度控制器的输出进行滤波和电流限幅操作得到电流信号I1；

S3、电流信号I1和电流环反馈信号作差输入电流控制器得到电流信号I2；

S4、电流信号I2直接输出到AGV小车的伺服电机，由安装的速度反馈模块得到小车运动速度值V2反馈到速度控制器，形成速度环；

所述的速度控制器、电流控制器是PID控制器，PID控制器包括P(比例)、I(积分)、D(微分)三个部分，PID控制器的表达式为：

其中e(t)＝r(t)-y(t)，e(t)为系统输入值和输出值的差值，r(t)为系统的输入值，y(t)为系统的输出值，u(t)为控制器的输出值，K_p为比例增益系数，K_i为积分增益系数，K_d为微分增益系数。

与现有技术相比，本发明能够实现的有益效果至少如下：

(1)本发明的基于深度相机的机械臂抓取系统可以进行复杂环境下的抓取，具有较大的工作空间，很好地匹配多样的抓取要求。

(2)通过深度学习框架下的目标检测算法对目标物体准确定位，以AGV小车搭载六轴机械臂拓展六轴机械臂的工作范围，实现六轴机械臂的动态抓取、智能抓取。

(3)基于主流机器人操作系统ROS开发，具有较强的扩展性，利用了ROS丰富的工具包实现了机械臂运动规划，降低机械臂控制的门槛。

附图说明

图1为一种基于深度相机的机械臂抓取系统的结构示意图。

图2为速度-电流双环控制结构。

图3为一种基于深度相机的机械臂抓取控制方法的方法流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本实施例提供的一种基于深度相机的机械臂抓取系统，包括计算机1、深度摄像头2、机械臂机构3、AGV小车4和遥控器5。计算机搭载并运行ROS，用于实现目标物体检测计算、机械臂控制计算和AGV小车控制计算；深度摄像头2与计算机1相连；机械臂机构包括机械臂、安装于机械臂末端的夹爪、机械臂驱动和机械臂控制器，机械臂控制器接收计算机发出的抓取指令后，通过机械臂驱动控制夹爪夹取目标物体。AGV小车包括机械部分、驱动部分和控制部分，AGV小车上方平台搭载机械臂机构3。遥控器5包括遥控手柄，与计算机1相连，通过机械按键发送信息到计算机。本实施例的机械臂为六轴机械臂。

首先先建立各部分的连接，计算机与深度摄像头通过USB线相连；计算机与机械臂机构3中的机械臂控制器(本实施例的机械臂控制器为工控机)以网线相连，通过设置双方的IP地址进行绑定，再通过ROS以服务的形式从计算机传输控制信号到工控机；AGV小车的运动控制实际上是对其底盘安装的四个伺服电机的转速进行控制，通过分析AGV的运动学得到底盘速度和四个麦克纳姆轮之间的配速关系。

计算机1的操作系统为Ubuntu16.04，机器人操作系统为ROS。目标物体检测计算包括目标识别、目标像素定位、目标三维坐标计算，将获取的图像输入基于深度学习框架搭建目标检测算法中，可实现目标识别、目标像素定位，目标三维坐标计算包括相机标定、手眼标定和相机模型计算像素点对应坐标位置。相机模型包含相机的参数信息，根据相机模型可获取图像坐标系和摄像头坐标系的转换矩阵。具体的，根据目标物体坐标通过坐标矩阵得到目标物体相对于机械臂末端坐标系的坐标，相机标定获取像素系和图像坐标系的转换矩阵，根据相机模型获取图像坐标系和摄像头坐标系的转换矩阵，手眼标定获取机械臂末端坐标系与摄像头坐标系的转换矩阵，由此通过各个转换矩阵可实现像素点转换为目标物体在机械臂末端的坐标系的坐标。

本实施例还提供前述机械臂抓取系统的控制方法。

一种基于深度相机的机械臂抓取控制方法，包括以下步骤：

步骤1：通过遥控器5控制AGV小车4到达目标物体的抓取范围内。

本步骤中，根据操作者操控遥控手柄控制AGV小车到达目标物体抓取范围内，计算机通过深度摄像头获取目标物体的图像。

步骤2：深度摄像头2采集目标物体的图像，并将图像传输给计算机1；

步骤3：计算机1通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标，并根据位姿和位置坐标进行运动规划，发送抓取指令到机械臂机构3中的机械臂控制器；

步骤4：机械臂控制器根据抓取指令控制机械臂驱动，使得机械臂驱动夹爪抓取目标物体。

操作者操控遥控手柄以控制AGV小车到达目标物体抓取范围内，计算机通过深度摄像头获取目标物体的图像。具体的，深度图像的每一个像素点都有一个深度值，深度值即代表距离值，但是由于彩色摄像头坐标系和深度摄像头的坐标系并不相同，通过两个摄像机内置参数得到两个坐标系间的转化矩阵，结合彩色图像得到的目标物体中心的二维坐标即可获得目标物体中心的三维坐标：图像经计算机目标检测算法处理计算出目标物体最佳抓取点的位姿和位置坐标，结合图像经过矩阵转换从深度图像得到目标物体的深度值得到目标物体中心的三维坐标。计算机基于ROS封装的功能包进行运动规划，发送抓取指令到机械臂控制器，控制机械臂自动抓取目标物体。

基于深度学习框架搭建目标检测算法包括基于YOLO网络模型的目标检测，目标物体检测步骤包括：

S1、将从深度摄像机获取的图像进行预处理，再划分为S×S的格子网络，一般取7×7。

S2、每个格子输出B个bounding box信息，B设定为2即可，以及C个目标属于某类的概率，C表示目标检测分类的种类；所述bounding box信息包括(x,y,w,h,confidence)，x,y表示预测框中心与该格子边界的相对值，w,h表示预测框的宽度和高度相对整幅图像的宽度和高度的比例，confidence＝P(obj)*IoU，P(obj)为当前格子有目标的概率，IoU表示两个预测框的重叠率。

S3、计算每一个预测框的置信度，选出目标物体在图像中的像素位置。

S4、通过建立的三维坐标模型，通过转换得到目标物体的三维坐标。三维坐标模型指像素坐标系、图像坐标系、相机坐标系、机械臂坐标系相互转换的模型。转换彩色图像和深度图像获得目标物体的三维坐标。位姿由目标物体的预测框的w、h比较得到，这里的位姿通过w、h的比值得到。位姿默认具有默认值，深度相机和夹爪垂直与地面，rz默认为0，rx，ry一般设定为两个值，由预测框的w，h的比值设定为w>h,rx为0度，ry为90度，w<h时，rx为90度，ry为0度。

S5、将物体的三维坐标和位姿发送给机械臂控制计算模块。

机械臂控制计算包括机械臂运动规划，机械臂运动规划为在解空间中通过算法和约束条件操作避开障碍物，求解机器人运动的最佳路径。计算机通过基于Python开发的universal robot工具包urx连接六轴机械臂，发送机械臂控制指令；系统使用一个movel函数实现机械臂末端的位置控制，movel函数作为接口调用，调用这个函数即可机械臂即可自动完成运动规划。movel函数的定义如下：

def movel(self,tpose,acc＝0.01,vel＝0.01,wait＝True)，movel函数有四个关键的参数：

tpose表示机械臂相对抓取目标的状态(v,u,z,rv,ru,rz)，以机械臂的末端为坐标原点建立坐标系，机械臂的末端垂直于地面，以机械臂末端到地面为z轴正方向，v,u与z轴垂直且相互垂直，(v,u,z)表示机械臂的末端分别在v、u、z方向的运动距离，(rv,ru,rz)则以机械臂的末端围绕v、u、z方向旋转的角度；acc表示机械臂末端的加速度，具有默认值0.01；vel表示机械臂末端的运动速度，具有默认值0.01；wait表示是否停顿。得到最佳抓取点的位姿和位置坐标后，位姿均分到v、u、z方向上，得到v,u,z,rv,ru,rz的值，由此实现机械臂的自动控制。

AGV小车的机械部分包括底盘和车体两个部分，车体承载安装各个设备包括机械臂、控制箱、驱动器，底盘安装小车的运动设备包括麦克纳姆轮和伺服驱动系统。

遥控手柄的控制信息以话题的方法发布到计算机，各控制按钮对应各定义的指令。所述控制按钮包括恒速方向按钮、变速方向摇杆、启动停止按钮。所述AGV小车的轮子速度控制采用速度环-电流环双环结构，如图2所示，控制流程包括：

S100、遥控手柄发布目标速度值V1，目标速度值V1输入速度控制器；

S200、速度控制器的输出进行滤波和电流限幅操作得到电流信号I1；

S300、电流信号I1和电流环反馈信号作差输入电流控制器得到电流信号I2；

S400、电流信号I2直接输出到AGV小车的伺服电机，由安装的速度反馈模块得到小车运动速度值V2反馈到速度控制器，形成速度环。

所述的速度控制器、电流控制器是PID控制器，PID控制器包括P(比例)、I(积分)、D(微分)三个部分，PID控制器的表达式为：

其中e(t)＝r(t)-y(t)，e(t)为系统输入值和输出值的差值，r(t)为系统的输入值，y(t)为系统的输出值，u(t)为控制器的输出值，K_p为比例增益系数，K_i为积分增益系数，K_d为微分增益系数。

速度控制器、电流控制器的PID参数调节采用经验法，先把积分系数和微分系数设定在一个比较小的数值，对速度-电流双环控制器输入期望速度值，监控实际速度输出值，由输出值和输入值的差值构成误差曲线，根据误差曲线逐步增大比例系数，当系统误差曲线逐渐平稳的时候，再慢慢增加微分环节，最后再调整补偿整体误差，调整至控制器性能达到期望效果即可。

本实施例将移动机器人和机械臂结合，使机器人应用的范围大大增加，移动机器人赋予了机械臂更大的活动范围，使机械臂抓取灵活，整套系统更适配要求更高的应用条件；基于深度相机实现目标物体的定位，获取物体的三维坐标，结合机器人运动规划，实现复杂环境下的机械臂自动抓取目标物体；基于ROS开发，具有较高的拓展性，针对不同的环境进行开发，满足了工业生产的需求，对机器人操作系统及机械臂抓取系统具有很大的参考价值。

以上仅说明给出了详细的实施方式和具体操作过程，旨在对本发明进行详细说明，但本发明的保护范围不限于此实施方式。

Claims (7)

1.一种基于深度相机的机械臂抓取系统，其特征在于：包括机械臂机构(3)、AGV小车(4)、深度摄像头(2)、计算机(1)和遥控器(5)，

所述机械臂机构(3)包括机械臂、安装于机械臂末端的夹爪和机械臂，且所述机械臂机构(3)安装在所述AGV小车(4)上；

所述遥控器(5)与计算机(1)相连，用于发送信息到计算机(1)；

所述深度摄像头(2)用于采集目标物体的图像，且与计算机(1)相连以将采集到的图像传输给计算机(1)；

所述计算机(1)搭载并运行ROS，用于获得目标物体最佳抓取点的位姿和位置坐标并发送抓取指令给所述机械臂机构(3)。

2.根据权利要求1所述的一种基于深度相机的机械臂抓取系统，其特征在于：所述计算机(1)的操作系统为Ubuntu16.04，基于ROS对机械臂机构和AGV小车进行控制。

3.根据权利要求1-2任一所述的一种基于深度相机的机械臂抓取系统，其特征在于：计算机(1)通过基于Python开发的universal robot工具包urx连接机械臂机构(3)并发送抓取指令。

4.一种基于深度相机的机械臂抓取控制方法，其特征在于，采用权利要求1-3任一所述的机械臂抓取系统，所述控制方法包括以下步骤：

通过所述遥控器(5)控制所述AGV小车(4)到达目标物体的抓取范围内；

所述深度摄像头(2)采集目标物体的图像，并将图像传输给所述计算机(1)；

所述计算机(1)通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标，并根据所述位姿和所述位置坐标进行运动规划，发送抓取指令到所述机械臂机构(3)；

所述机械臂机构(3)根据所述抓取指令抓取目标物体。

5.根据权利要求4所述的一种基于深度相机的机械臂抓取控制方法，其特征在于，所述通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标中，所述目标检测算法具体包括以下步骤：

将从深度摄像头获取的图像进行预处理，再划分为S×S的格子网络；

每个格子输出B个预测框信息，以及C个目标属于某类的概率，C表示目标检测分类的种类；所述预测框信息包括(x,y,w,h,confidence)，x,y表示预测框中心与该格子边界的相对值，w,h表示预测框的宽度和高度相对整幅图像的宽度和高度的比例，confidence＝P(obj)*IoU，P(obj)为当前格子有目标的概率，IoU表示两个预测框的重叠率；

计算每一个预测框的置信度，选出物体在图像中的像素位置；

通过建立的三维坐标模型，转化得到目标物体的位姿。

6.根据权利要求4所述的一种基于深度相机的机械臂抓取控制方法，其特征在于，所述根据所述位姿和所述位置坐标进行运动规划中，使用一个movel函数实现机械臂末端的位置控制，movel函数的定义如下：

def movel(self,tpose,acc＝0.01,vel＝0.01,wait＝True)，movel函数有四个关键的参数：

tpose表示机械臂相对抓取目标的状态(v,u,z,rv,ru,rz)，其中，以机械臂的末端为坐标原点建立三维坐标系，机械臂的末端垂直于地面，以机械臂末端到地面为z轴正方向，v,u与z轴垂直且互相垂直，(v,u,z)表示机械臂的末端分别在v、u、z方向上的运动距离，(rv,ru,rz)为机械臂的末端分别围绕v、u、z方向旋转的角度；acc表示机械臂末端的加速度，具有默认值0.01；vel表示机械臂末端的运动速度，具有默认值0.01；wait表示是否停顿，计算出最佳抓取点的位姿后，位姿均分到v、u、z三个方向上，得到v,u,z,rv,ru,rz的值，由此实现机械臂的自动控制。

7.根据权利要求4-6任一所述的一种基于深度相机的机械臂抓取控制方法，其特征在于，所述遥控器(5)的遥控手柄的控制信息以话题的方法发布到计算机(1)，各控制按钮对应各定义的指令，所述控制按钮包括恒速方向按钮、变速方向摇杆、启动停止按钮，所述AGV小车的轮子速度控制采用速度环-电流环双环结构，控制流程包括：

S1、遥控手柄发布目标速度值V1，目标速度值V1输入速度控制器；

S2、速度控制器的输出进行滤波和电流限幅操作得到电流信号I1；

S3、电流信号I1和电流环反馈信号作差输入电流控制器得到电流信号I2；

S4、电流信号I2直接输出到AGV小车的伺服电机，由安装的速度反馈模块得到小车运动速度值V2反馈到速度控制器，形成速度环；

所述的速度控制器、电流控制器是PID控制器，PID控制器包括P(比例)、I(积分)、D(微分)三个部分，PID控制器的表达式为：

其中e(t)＝r(t)-y(t)，e(t)为系统输入值和输出值的差值，r(t)为系统的输入值，y(t)为系统的输出值，u(t)为控制器的输出值，K_p为比例增益系数，K_i为积分增益系数，K_d为微分增益系数。

Images