CN108972494A - 一种仿人机械手抓取控制系统及其数据处理方法 - Google Patents

Abstract

本发明公开了一种仿人机械手抓取控制系统及其数据处理方法，包括：设备模块，包括21自由度五指仿人机械手、6自由度机械臂、数据手套、摄像头、虚拟手仿真平台；数据获取模块，主要负责采集图片和数据手套数据；数据处理模块，主要负责对采集到的图片和数据进行分析和处理，其中包括待抓取物体识别模块和抓取方案生成模块；控制模块，用于控制机械臂和五指仿人进行物体抓取，其中包括指令直接控制和数据手套在线控制。本发明将深度学习目标识别与五指仿人机械手抓取控制相结合，借助仿真虚拟手可及时展示仿人机械手抓取控制效果，使抓取控制更智能和直观。

Description

一种仿人机械手抓取控制系统及其数据处理方法

技术领域

本发明涉及深度学习和仿人机械手抓取的技术领域，尤其是指一种仿人机械手抓取控制系统及其数据处理方法。

背景技术

仿人机械手出现迄今已有50多年的发展历史，但其实用化至今仍然存在着许多挑战，还必须要进一步地攻克整个仿人机械手在机构、模型、触觉、控制、示教、交互、协调、作业中存在的一系列关键难题。目前，大多数机器人的机械手都是针对特定作业设计的，它们均存在着灵活性和适应性及精密性等较差的缺点。因此，需要研制出一种能像人手及手臂一样完成高端和灵巧及精密作业的仿人机械手。对于仿人机械手而言，其最主要的功能是辅助人手在复杂环境中完成对目标物体的一系列作业任务，抓取是仿人机械手最基本的功能。传统的仿人机械手的常用控制方法需要先对它们的运动和作业进行轨迹规划，在抓取作业中需要提前获得目标物体的三维模型，或者基于目标模板匹配的方式规划抓取姿态，这导致仿人机器人在非结构环境下的自主抓取能力不足。研究出一种基于视觉且能在非机构化环境下实现的仿人机械手自主抓取技术是非常必要的，这对于提升机器人作业能力，人机交互能力都是十分重要的。

目前，智能机器人的作业控制方法研究主要集中在仿人机械手的功能和协作方面。实际上，许多国家一直都在开展仿人机械手研究，希望用其代替传统的末端夹持器和工业机械臂在高端、繁重、恶劣、危险环境中完成等各种复杂的生产或服务。如日本就开发了三指仿人机械手Okada，犹他大学与MIT联合开发了Utah/MIT 4指仿人机械手，以及Stanford/JPL手、UB-Ⅱ手、Robonaut手等。近年来仿人机械手在灵巧程度和触觉感知上有了更大的改进，如Shadow公司开发的24自由度的Shadow手；日本Gifu大学以人形机器人和康复医疗为需求背景研制的Gifu-Ⅱ手；Barrett公司的BH8系列三指机械手。此外，越来越多的仿人机械手投入商用尤其是医学的助残领域，这类仿人机械手的灵活度更大，且手指的触觉感知功能更强，能够很好地配合人完成人手的部分功能动作。如最早投入商用的由苏格兰公司Touch Bionicsi公司制造的LIMB手和LIMB plus手；Vincent公司推出了Vincent手，能够辅助人完成人手动作。

随着近年来机器学习和深度学习算法的广泛应用，基于视觉的仿人机械手抓取研究逐渐从抓取规划算法研究转换为对视觉图像中目标物体检测算法研究。传统的目标物体检测算法一般基于3D立体视觉和一些机器学习的分类算法，而深度卷积神经网络如AlexNet、ResNet、LeNet、VGGNet等对目标良好的分类能力使其被广泛应用于视觉计算当中。目前的一些神经网络的分类能力甚至超过人类的识别能力。将深度学习引入仿人机械手抓取研究中，很好地解决了目标图像的特征提取问题，其可以自动提取抓取目标特征并判断待抓取物体类别。此外，神经网络还可用于目标最优抓取区域的判断，优化仿人机械手对于目标的抓取方式，使得仿人机械手的抓取更加智能化和合理化。深度学习精准的目标识别和定位能力，配合机械臂带动五指仿人机械手运动到目标位置处，配合数据手套控制仿人机械手则可以实现对仿人机械手的远程在线抓取操控。这对于在复杂环境下操控仿人机械手完成人所不能完成的抓取任务提供了可能性，对于机器人的自主抓取领域研究具有重要意义。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种适应性、直观性、交互性、实时性都较好的仿人机械手抓取控制系统及其数据处理方法，解决传统机械手抓取控制方式单一、交互性差、机械手灵活程度低的问题。五指仿人机械手和数据手套交互控制能提高机械手对物体抓取的灵活度，抓取仿真系统可以实时仿真显示抓取控制结果。基于深度学习的抓取目标识别方法能够自动识别待抓取物体，并生成抓取方案，去除了传统机械手抓取需要人为标定抓取目标这一步骤。

为实现上述目的，本发明所提供的技术方案如下：

一种仿人机械手抓取控制系统，包括：

设备模块，包括21自由度五指仿人机械手、6自由度机械臂、数据手套、摄像头、虚拟手仿真平台；

数据获取模块，负责从摄像头采集待抓取目标物体图片，以及从数据手套接口采集传感器数据；

数据处理模块，负责对采集的图像数据进行分析处理，识别出待抓取物体类别及位置并生成对应的抓取方案，此外，对数据手套数据进行处理，根据规则将数据映射为仿人机械手关节运动角度；

控制模块，用于控制驱动6自由度机械臂运动，对于21自由度五指仿人机械手设定不同的抓取控制方式，包括指令直接控制和数据手套在线控制，根据不同控制方式完成对目标物体的抓取。

所述数据处理模块包含抓取目标检测模块、抓取方案生成模块、数据手套数据处理模块；

所述抓取目标检测模块是一个预训练的深度神经网络模型，其主要作用是：当摄像头采集到待抓取目标图片后，将图片作为网络模型输入，得到目标物体的类别和当前位置；

所述抓取方案生成模块接收目标检测模块结果作为输入，根据目标类别选择不同的抓取方案，规则物体采取直接抓取方案获取抓取角度，不规则物体则由一个预训练的三层卷积神经网络模型判断物体最优抓取区域；

所述数据手套数据处理模块对数据手套采集的传感器数据进行校准，传感器校准后输出值为：

其中，out为传感器校准后输出值，sensor_max为传感器输出的最大值，raw_cur为传感器当前原始数值，raw_min为传感器原始数值最小值，raw_max为传感器原始数值最大值；

所述数据手套数据处理模块对五指关节采用线性角度映射方式，根据五指的最大运动角度θ_max和最小运动角度θ_min，则运动范围θ_range＝θ_max-θ_min，五指关节的运动角度θ为：

θ＝out×θ_range+θ_min (2)

所述数据手套数据处理模块对手掌关节采用预训练的随机森林模型进行角度映射，将数据手套的传感器数据输入到随机森林模型，得到手掌关节运动角度。

所述控制模块包含21自由度五指仿人机械手控制的正运动学模块和逆运动学模块；

所述正运动学模块应用D-H表示法建立仿人机械手的指关节坐标系，以手掌中心为基坐标为关节链中每个指关节建立附体坐标系；然后通过D-H矩阵来表示后一个关节和前一个关节的关系；最后经过逐次变换将附体坐标表示的各个关节方程最终变换成用参考坐标来表示；

在所述正运动学模块中，除大拇指外，其余四指的坐标方向与基坐标方向相同，设C_i＝cosθ_i,C_ij＝cos(θ_i+θ_j),C_ijk＝cos(θ_i+θ_j+θ_k)，a_i为机械手第i个指节的长度，θ_i为第i个关节的旋转角度，θ_j为第j个关节的旋转角度，θ_k为第k个关节的旋转角度，i,j,k＝1,2,3,4均表示关节序号，且S_i＝sinθ_i,S_ij＝sin(θ_i+θ_j),S_ijk＝sin(θ_i+θ_j+θ_k)，根据运动学旋转和平移关系公式A_i为第i个关节的运动矩阵，为第i个关节围绕z轴旋转θ_i，为第i个关节沿z轴平移d_i，为第i个关节沿x轴平移a_i，为第i个关节围绕x轴旋转α_i，则其余四指的D-H运动矩阵为：

大拇指坐标方向为基坐标顺时针旋转90°，则大拇指的D-H运动矩阵为：

所述逆运动学模块，根据正运动学D-H矩阵描述，末端坐标(P_x,P_y,P_z)对应的运动学矩阵中的表达式为：

根据给出末端点(P_x,P_y,P_z)的坐标值，所示逆运动学模块求解式(6)即可得到此时手部各个关节的运动角度：

所述预训练的深度神经网络模型采用的是Faster R-CNN网络模型，所述FasterR-CNN网络采用VGG网络的前13层卷积层提取图片特征；在图片特征矩阵上用3×3大小的滑动窗口方法，用RPN网络在每个滑动窗口上生成9种不同尺寸的候选区域；将候选区域输出为512维向量；将512维向量输入分类层和坐标回归层；深度网络模型输出为物体类别和物体坐标值(x,y,w,h)，所述Faster R-CNN网络的损失函数为分类损失L_cls和回归损失L_reg之和：

其中，p为物体分类概率值，t为物体定位坐标值；p_i为第i个样本的分类预测值，为第i个样本的真实值；t_i为第i个样本坐标预测值，为第i个样本的坐标真实值。

所述抓取方案生成模块包含直接抓取方案生成模块和最优抓取区域方案生成模块；

所述抓取目标检测模块能够将目标物体从图片中分离出来，单独对每一个目标物体进行抓取变量分析，抓取检测中对于盒子状、长条状、球状的物体采取重心抓取策略，所述直接抓取方案生成模块需要用索贝尔算子对目标物体的边缘轮廓进行提取，根据物体轮廓确定可包围物体的最小矩形，用矩形的偏转角度描述物体的摆放角度和物体所需抓取长宽，则生成抓取方案所需要用到的变量(x,y,w,h,θ)；其中索贝尔算子：

结合水平方向梯度G_x和垂直方向梯度G_y，生成图像梯度设定边缘阈值则能够提取出图片的所有边缘轮廓，以最小轮廓生成包围矩形，以包围矩形的偏转角度描述物体角度θ；

所述最优抓取区域方案生成模块对于特殊形状物体，需要对物体的最优抓取区域和角度进行识别；最优抓取区域生成模型为一个预训练的3层卷积神经网络；第一层为3×3大小的卷积层，第二层和第三层为有128个神经元的全连接层，卷积层提取区域图片特征，后两层全连接层用于图片特征判断；第三层的激活函数为softmax函数，用于将输出转换为概率分布形式，3层卷积神经网络的损失函数为交叉熵损失；

所述最优抓取区域方案生成模块利用20×20、30×30、40×40和50×50四种尺寸滑动窗口扫描所述抓取目标检测模块检测出的目标物体；将滑动窗口输入最优抓取区域方案生成模型；用非极大值抑制方法选取所有窗口中最优窗口作为最优抓取区域；在最优抓取区域中用所述直接抓取方案生成抓取方案所需要用到的变量(x,y,w,h,θ)。

上述仿人机械手抓取控制系统的数据处理方法，包括以下步骤：

S1、打开所述设备模块的虚拟手仿真平台，虚拟手仿真平台对21自由度的五指仿人机械手的3D模型进行仿真；

S2、打开所述虚拟手仿真平台连接所述设备模块的摄像头采集待抓取目标物体图片；

S3、将图片输入所述目标抓取检测模块预训练的Faster R-CNN模型，将目标检测结果输入所述抓取方案生成模块的直接抓取或最优抓取方案生成模块，根据目标物体生成的抓取方案；

S4、根据6自由度机械臂逆运动学，由抓取方案的三维空间中待抓取物体的坐标和抓取角度，使所述设备模块中的机械臂运动至物体上方；

S5、所述设备模块的虚拟手仿真平台读取数据手套传感器数据，根据所述数据手套处理模块校准数据，并映射为仿人机械手运动角度；

S6、根据控制模块中已建立的正、逆运动学模型对仿真虚拟手和人手动作进行抓取动作同步。

本发明与现有技术相比，具有如下优点与有益效果：

1、设计的21自由度五指仿人机械手贴合人手的五指运动结构，与传统的二指或三指型机械手相比具有更大的灵活性。在物体抓取方面可以更接近于人手的抓取效果。

2、对仿人机械手采用的控制方式是让操作者戴上数据手套通过计算机系统实时地控制仿人机械手。与传统控制方法相比，这种直接控制方法更加符合人类的操作习惯，其操作简单、高效，大大提高了交互性。

3、结合了基于机器视觉的抓取目标检测方法，用深度神经网络模型来检测机械手操作区域的待抓取目标物体。对待抓取目标物体生成特定的抓取方案，自动抓取目标检测和抓取方案生成可以提高机械手抓取作业的效率。

4、在操作者无法观察到作业环境的情况下，该系统仍能自动识别物体并自动控制机械臂运动。操作者只需通过数据手套控制机械手抓住物体即可。

5、本发明应用前景广泛，不仅可以满足工业生产的急需，而且可以广泛地应用于战场、防化、扫雷、救护等军事领域，以及远程医疗、远程教育、远程实验、旅游娱乐等民用领域。

附图说明

图1是仿人机械手抓取控制系统的原理框图。

图2是仿人机械手结构图。

图3是仿人机械手整体坐标。

图4是拇指坐标。

图5是其余四指坐标。

图6是5DT Data Glove 14Ultra数据手套。

图7是Faster R-CNN的网络结构图。

图8是RPN网络的原理图。

图9是目标抓取方案所需变量。

图10是最优抓取区域判断的网络结构。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的仿人机械手抓取控制系统包括四大部分，分别是设备模块、控制模块、数据获取模块、数据处理模块。

所述设备模块，包括21自由度五指仿人机械手、6自由度机械臂、数据手套、摄像头、虚拟手仿真平台；

所述控制模块，用于控制驱动6自由度机械臂运动，对于21自由度五指仿人机械手可设定不同的抓取控制方式，包括指令直接控制和数据手套在线控制。根据不同控制方式完成对目标物体的抓取；所述控制模块包含21自由度五指仿人机械手控制的正运动学模块和逆运动学模块；

所述正运动学模块应用D-H表示法建立仿人机械手的指关节坐标系，以手掌中心为基坐标为关节链中每个指关节建立附体坐标系；然后通过D-H矩阵来表示后一个关节和前一个关节的关系；最后经过逐次变换将附体坐标表示的各个关节方程最终变换成用参考坐标来表示；

在所述正运动学模块中，除大拇指外，其余四指的坐标方向与基坐标方向相同，设C_i＝cosθ_i,C_ij＝cos(θ_i+θ_j),C_ijk＝cos(θ_i+θ_j+θ_k)，a_i为机械手第i个指节的长度，θ_i为第i个关节的旋转角度，θ_j为第j个关节的旋转角度，θ_k为第k个关节的旋转角度，i,j,k＝1,2,3,4均表示关节序号，且S_i＝sinθ_i,S_ij＝sin(θ_i+θ_j),S_ijk＝sin(θ_i+θ_j+θ_k)，根据运动学旋转和平移关系公式A_i为第i个关节的运动矩阵，为第i个关节围绕z轴旋转θ_i，为第i个关节沿z轴平移d_i，为第i个关节沿x轴平移a_i，为第i个关节围绕x轴旋转α_i，则其余四指的D-H运动矩阵为：

大拇指坐标方向为基坐标顺时针旋转90°，则大拇指的D-H运动矩阵为：

所述逆运动学模块，根据正运动学D-H矩阵描述，末端坐标(P_x,P_y,P_z)对应的运动学矩阵中的表达式为：

根据给出末端点(P_x,P_y,P_z)的坐标值，所示逆运动学模块求解式(6)即可得到此时手部各个关节的运动角度：

所述数据获取模块，由传感器数据采集模块和图像采集模块组成，负责从摄像头采集待抓取目标物体图片，以及从数据手套接口采集传感器数据；

所述数据处理模块，包含抓取目标检测模块、抓取方案生成模块、数据手套数据处理模块；

所述抓取目标检测模块是一个预训练的深度神经网络模型，其主要作用是：当摄像头采集到待抓取目标图片后，将图片作为网络模型输入，得到目标物体的类别和当前位置；所述预训练的深度神经网络模型采用的是Faster R-CNN网络模型，所述Faster R-CNN网络采用VGG网络的前13层卷积层提取图片特征；在图片特征矩阵上用3×3大小的滑动窗口方法，用RPN网络在每个滑动窗口上生成9种不同尺寸的候选区域；将候选区域输出为512维向量；将512维向量输入分类层和坐标回归层；深度网络模型输出为物体类别和物体坐标值(x,y,w,h)，所述Faster R-CNN网络的损失函数为分类损失L_cls和回归损失L_reg之和：

其中，p为物体分类概率值，t为物体定位坐标值；p_i为分类预测值，为真实值；t_i为坐标预测值，为坐标真实值。

所述抓取方案生成模块接收目标检测模块结果作为输入，根据目标类别选择不同的抓取方案，规则物体采取直接抓取方案获取抓取角度，不规则物体则由一个预训练的三层卷积神经网络模型判断物体最优抓取区域；

所述数据手套数据处理模块对数据手套采集的传感器数据进行校准，传感器校准后输出值为：

其中，out为传感器校准后输出值，sensor_max为传感器输出的最大值，raw_cur为传感器当前原始数值，raw_min为传感器原始数值最小值，raw_max为传感器原始数值最大值；

所述数据手套数据处理模块对五指关节采用线性角度映射方式，根据五指的最大运动角度θ_max和最小运动角度θ_min，则运动范围θ_range＝θ_max-θ_min，五指关节的运动角度θ为：

θ＝out×θ_range+θ_min (2)

所述数据手套数据处理模块对手掌关节采用预训练的随机森林模型进行角度映射，将数据手套的传感器数据输入到随机森林模型，得到手掌关节运动角度。

所述抓取方案生成模块包含直接抓取方案生成模块和最优抓取区域方案生成模块；

所述抓取目标检测模块能够将目标物体从图片中分离出来，单独对每一个目标物体进行抓取变量分析，抓取检测中对于盒子状、长条状、球状的物体采取重心抓取策略，所述直接抓取方案生成模块需要用索贝尔算子对目标物体的边缘轮廓进行提取，根据物体轮廓确定可包围物体的最小矩形，用矩形的偏转角度描述物体的摆放角度和物体所需抓取长宽，则生成抓取方案所需要用到的变量(x,y,w,h,θ)；其中索贝尔算子：

结合水平方向梯度G_x和垂直方向梯度G_y，生成图像梯度设定边缘阈值则能够提取出图片的所有边缘轮廓，以最小轮廓生成包围矩形，以包围矩形的偏转角度描述物体角度θ；

所述最优抓取区域方案生成模块对于特殊形状物体，需要对物体的最优抓取区域和角度进行识别；最优抓取区域生成模型为一个预训练的3层卷积神经网络；第一层为3×3大小的卷积层，第二层和第三层为有128个神经元的全连接层，卷积层提取区域图片特征，后两层全连接层用于图片特征判断；第三层的激活函数为softmax函数，用于将输出转换为概率分布形式，3层卷积神经网络的损失函数为交叉熵损失；

所述最优抓取区域方案生成模块利用20×20、30×30、40×40和50×50四种尺寸滑动窗口扫描所述抓取目标检测模块检测出的目标物体；将滑动窗口输入最优抓取区域方案生成模型；用非极大值抑制方法选取所有窗口中最优窗口作为最优抓取区域；在最优抓取区域中用所述直接抓取方案生成抓取方案所需要用到的变量(x,y,w,h,θ)。

下面为本实施例上述仿人机械手抓取控制系统的数据处理方法，包括以下步骤：

S1、打开所述设备模块的虚拟手仿真平台，虚拟手仿真平台对21自由度的五指仿人机械手的3D模型进行仿真；

S2、打开所述虚拟手仿真平台连接所述设备模块的摄像头采集待抓取目标物体图片；

S3、将图片输入所述目标抓取检测模块预训练的Faster R-CNN模型，将目标检测结果输入所述抓取方案生成模块的直接抓取或最优抓取方案生成模块，根据目标物体生成的抓取方案；

S4、根据6自由度机械臂逆运动学，由抓取方案的三维空间中待抓取物体的坐标和抓取角度，使所述设备模块中的机械臂运动至物体上方；

S5、所述设备模块的虚拟手仿真平台读取数据手套传感器数据，根据所述数据手套处理模块校准数据，并映射为仿人机械手运动角度；

S6、根据控制模块中已建立的正、逆运动学模型对仿真虚拟手和人手动作进行抓取动作同步。

本发明设计了两类不同的控制方式：数据手套控制和直接指令控制。数据手套控制是不断读取数据手套传感器数据，同步控制仿真虚拟手跟随人手进行相同的动作序列。直接指令方式是操作者用预先设定的指令动作集直接控制仿人机械手做出特定的生产操作动作如抓、握、推、拉、插、按、夹、捏、剪、切、挖、掘、敲、打、撕、拽、磨、削、刨、挫等作业。

所述仿人机械手的具体情况如下：

手部整体结构。本发明的仿人机械手结构如图2所示。仿人机械手包括手掌在内共有22个部件，具有21个自由度，每个手指具有4个转动关节，手掌部分有一个转动关节用于手掌内合，对应于人手的拇指掌腕关节。人手每个手指有3个转动关节，仿人机械手设计为4个，是将指掌关节的屈伸和内收两个自由度分开为两个关节设计，这样可以便于仿人机械手的运动学建模和运动控制。除拇指之外，每个手指具有4个自由度。指关节从手掌内到指端可依次称为基关节、第一指关节、第二指关节和第三指关节，拇指也设计成具有4个自由度。在手掌设计上，由于人的手掌可侧握，所以手掌处设有一个大拇指手掌关节用于手掌的开合。这样一个手共计有21个自由度。

手部运动学坐标。在仿人机械手模型上建立如图3所示的坐标系，以手掌中心为模型的基坐标系。由于仿人机械手的第一指关节、第二指关节和指掌关节只能垂直于掌面方向运动即屈伸运动，指掌关节则平行于掌面方向运动。大拇指由于掌腕关节的屈伸转动，以掌腕关节为基为屈曲型手指机构，其余四指以指间关节为基为侧摆形手指机构。根据不同的手指运动基友，如图4所示大拇指的坐标系与手掌系方向相同，其余四指坐标如图5所示x轴相对于手掌坐标系逆时针旋转90°。

手部正运动学。为控制手指每一关节的运动，必须对每个手指关节建立DH运动矩阵，根据矩阵得到每个关节在空间中的运动坐标变化。逆运动学即给定手指末端点坐标值(P_x,P_y,P_z)，根据运动学公式求解当前末端点坐标下各关节角应旋转的角度，推导逆运动学时，取顺时针为正，以手指基关节为基。给出末端点坐标值，求解表达式即可得到此时手部各个关节的运动角度。

大拇指掌腕关节运动学。在正运动学讨论中，将五指以侧摆型手指结构进行讨论，单独讨论大拇指掌腕关节，掌腕关节部分主要是绕大拇指基部坐标的轴旋转，在原有大拇指运动学模型的基础上整体绕手掌基部的坐标轴旋转，若旋转角度为，则在原有大拇指运动模型的基础上需要再绕y轴旋转，此时原模型绕y轴旋转过的角度θ_i'为：

θ_i表示旋转前的空间坐标。根据绕y轴旋转的角度和原来的坐标，可以求得旋转后的末端点坐标为(x_b+acosθ_i',y,-asinθ_i')，其中x_b表示手掌部分的x轴坐标值。

所述数据手套数据获取具体情况如下：

传感器数据获取与校准。5DT Data Glove 14Ultra数据手套共有14个传感器，14个传感器在数据手套上的分布如图6所示，传感器可测量手指弯曲的程度与手指间的外部肌肉。这14个传感器分别是：拇指连接掌腕的关节和拇指中间关节各有1个传感器，5个手指两两之间各有1个传感器。除拇指外，其他4个手指连接掌部的关节和手指中间关节各有1个传感器，这14个关节序号及对应的关节名如表所示。对比于仿人机械手，仿人机械手与人手结构相似，其具有21个关节，所以需要将数据手套14个传感器测得的关节数据映射到仿人机械手的21个关节。

由于人手大小存在一定差异，所以不同人佩戴数据手套时获得的动态范围将不同。动态范围指数据手套的输出最大值(人手紧握时)与输出最小值(人手伸展时)的差值。为了保证测量出的关节数值的精确性，数据手套在使用前必须进行校准即佩戴数据手套后反复进行手指握拳和展平操作。系统此时会记录运动过程中的最大值和最小值，每当超过最大值或最小值时，最大最小值将会更新。

传感器与五指线性角度映射。人手的各关节有屈伸和收展有一定的范围限制，则各个关节可转动的角度有固定的角度范围如表1所示。

表1手指关节屈伸/收展范围

关节	拇指	食指	中指	无名指	小指
						指间关节	[0°,80°]	[0°,40°]	[0°,20°]	[0°,20°]	[0°,20°]
指掌关节	[0°,80°]	[0°,90°]	[0°,90°]	[0°,90°]	[0°,90°]
						第二指关节	[0°,90°]	[0°,108°]	[0°,108°]	[0°,108°]	[0°,108°]
第一指关节	[0°,90°]	[0°,90°]	[0°,90°]	[0°,90°]	[0°,90°]

则关节可转动的角度范围可以表示为θ_range＝θ_max-θ_min，其中θ_max为可转动的角度最大值，θ_min为可转动的角度最小值。

根据数据手套14个传感器获取的数值可以得到手掌对应的14个关节的角度值。根据数据手套的传感器位置，手指近端传感器在人手的指掌关节处，手指远端传感器在手指近指关节处，则近端角度映射为仿人机械手指掌关节角度，远端角度映射为第二指节关节角度，由于人手远指关节与近指关节角度相关，在求解逆运动学时也利用了远指关节与近指关节角度关系，远指关节的角度可表示为θ_PIPJ为远指关节角度，θ_DIPJ为近指关节角度。数据手套指间传感器位于指掌关节处可测得4个手指间的角度，而仿人机械手的指间关节需要5个角度。根据实际控制需求，则将机械手中指相对于掌部侧向关节保持为0。则指间关节角度可由4个指间角度求得。大拇指掌腕关节角度与大拇指和食指间角度即数据手套2号传感器所测得的角度相关，由此可近似求得掌腕关节角度。

手掌关节角度映射。数据手套的14个传感器并不能直接测出掌腕关节的旋转角度，而掌腕关节角度对于仿人机械手整体运动十分重要。人手拇指掌腕运动时同时将带动拇指指掌关节和远指关节，则可利用数据手套采集的拇指与食指间数据(2号传感器)、拇指近端数据(0号传感器)和拇指远端数据(1号传感器)三组传感器数据共同映射掌腕关节旋转角度。三组传感器数据作为特征，掌腕关节角度作为标签，关节角度为连续型决策变量，利用随机森林回归进行拟合，随机森林的基础模型为CART回归树模型。训练样本中掌腕关节角度利用大拇指与其余四指指间触碰时仿人机械手测得。

所述抓取目标检测模块具体情况如下：

目标定位网络Faster R-CNN结构。Faster R-CNN的特征提取网络采用16层的VGG网络，网络的图片输入尺寸为224×224×3，该网络所有的卷积核为3×3的小卷积核和1×1相当于线性变换的卷积核，最大池化层尺寸为2×2，步长为2。隐含层使用的激活函数为ReLU函数。在候选区域选择采用候选区域产生网络(RPN)。RPN是一个卷积神经网络，它与Fast R-CNN的深度网络共享图片特征，利用图片特征产生候选区域。总的来说Faster R-CNN算法就是Fast R-CNN与RPN网络的结合，本文采用的Faster R-CNN算法是如图7所示的16层的VGG网络加上RPN网络。

目标检测结果获取。Faster R-CNN网络中RPN共享VGG网络前13层卷积层产生的图片特征并用其产生目标候选区域。输入为任意大小图片，输出为一系列矩形目标候选区域目标类别分数和目标区域的边界区域坐标和长宽。图8锚框法生成候选区域RPN利用VGG网络第五池化层输出的特征图，在其上用一个固定n×n大小的滑动窗口，在每个滑动窗口中生成如图8所示的9个不同尺寸的锚框，将这9个锚框映射为一个512维向量后输入一个两层的神经网络，得到两个输出。一个是锚框区域含有目标和不含目标的概率，另一个是目标区域的左下角坐标和区域宽度和高(x,y,w,h)。每一个锚框的损失函数同样为分类损失函数和回归损失函数相加。

所述抓取方案生成模块具体情况如下：

抓取所需变量。对每一个抓取目标需要确定如图9所示的五个变量(x,y,w,h,θ)。根据这五个变量调整机械臂连同仿人机械手运动到目标物体的抓取点上方对其进行抓取。基于所述目标检测模块的区域目标检测结果可以将目标物体从图片中分离出来，单独对每一个目标物体进行抓取变量分析。

直接抓取方案。对于大部分规则物体都可以采取重心抓取策略，即将抓取点(x,y)确定在目标物体的重心处。利用索贝尔算子(Sobel operator)求分割后图片x方向梯度G_x和y方向上的梯度G_y。则图片梯度为设定一个阈值用于边缘检测，高于阈值的像素点即判断为目标物体边缘并将其保留，得到分割后目标图像边缘。对索贝尔算子处理后的图像进行二值化处理后检测二值图像内的所有轮廓信息，对轮廓进行排序后得到包含点集最小的矩形的四个顶点，根据图像轮廓得到的最小矩形的偏转角度可以较好地刻画目标物体的角度θ，即可将该角度作为抓取角度θ，矩形宽度可作为抓取宽度h，固定夹取宽度w为一个定值，则可以得到目标物体的抓取判断结果。

最优抓取区域判断。对于特殊形状物体例如盘子、碗、剪刀、马克杯、眼镜等物体不能采用简单的重心抓取策略，这些物体应当有更优于重心处的抓取点。所以需要对物体的最优抓取区域和角度进行识别。最优抓取区域判断可以简化为一个二分类问题，即判断候选区域是否可抓取。可将抓取标注数据集用一个如图10所示的4层卷积神经网络即2层卷积层加2层全连接层进行训练。测试时采取滑动窗口区域选择策略，对上文所述Faster R-CNN和SSD目标区域识别网络识别分割出的目标物体进行滑动窗口区域选择，将产生的区域输入预训练的4层卷积进行区域判断。

输出为该区域可抓取和不可抓取判断的概率值，可抓取概率大于不可抓取则判定该区域可抓取，反之不可抓取，输出概率值越高，说明该区域可抓取性越强。网络结构如图10所示，其中两个卷积层的卷积核大小均为3×3，两层全连接层分别有128个神经元，输入图片尺寸为100×100×3，除最后一层激活函数为softmax外其他层均为relu函数。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种仿人机械手抓取控制系统，其特征在于，包括：

设备模块，包括21自由度五指仿人机械手、6自由度机械臂、数据手套、摄像头、虚拟手仿真平台；

数据获取模块，负责从摄像头采集待抓取目标物体图片，以及从数据手套接口采集传感器数据；

数据处理模块，负责对采集的图像数据进行分析处理，识别出待抓取物体类别及位置并生成对应的抓取方案，此外，对数据手套数据进行处理，根据规则将数据映射为仿人机械手关节运动角度；

控制模块，用于控制驱动6自由度机械臂运动，对于21自由度五指仿人机械手设定不同的抓取控制方式，包括指令直接控制和数据手套在线控制，根据不同控制方式完成对目标物体的抓取。

2.根据权利要求1所述的一种仿人机械手抓取控制系统，其特征在于，所述数据处理模块包含抓取目标检测模块、抓取方案生成模块、数据手套数据处理模块；

所述抓取目标检测模块是一个预训练的深度神经网络模型，其主要作用是：当摄像头采集到待抓取目标图片后，将图片作为网络模型输入，得到目标物体的类别和当前位置；

所述抓取方案生成模块接收目标检测模块结果作为输入，根据目标类别选择不同的抓取方案，规则物体采取直接抓取方案获取抓取角度，不规则物体则由一个预训练的三层卷积神经网络模型判断物体最优抓取区域；

所述数据手套数据处理模块对数据手套采集的传感器数据进行校准，传感器校准后输出值为：

其中，out为传感器校准后输出值，sensor_max为传感器输出的最大值，raw_cur为传感器当前原始数值，raw_min为传感器原始数值最小值，raw_max为传感器原始数值最大值；

所述数据手套数据处理模块对五指关节采用线性角度映射方式，根据五指的最大运动角度θ_max和最小运动角度θ_min，则运动范围θ_range＝θ_max-θ_min，五指关节的运动角度θ为：

θ＝out×θ_range+θ_min (2)

所述数据手套数据处理模块对手掌关节采用预训练的随机森林模型进行角度映射，将数据手套的传感器数据输入到随机森林模型，得到手掌关节运动角度。

3.根据权利要求1所述的一种仿人机械手抓取控制系统，其特征在于，所述控制模块包含21自由度五指仿人机械手控制的正运动学模块和逆运动学模块；

所述正运动学模块应用D-H表示法建立仿人机械手的指关节坐标系，以手掌中心为基坐标为关节链中每个指关节建立附体坐标系；然后通过D-H矩阵来表示后一个关节和前一个关节的关系；最后经过逐次变换将附体坐标表示的各个关节方程最终变换成用参考坐标来表示；

在所述正运动学模块中，除大拇指外，其余四指的坐标方向与基坐标方向相同，设C_i＝cosθ_i,C_ij＝cos(θ_i+θ_j),C_ijk＝cos(θ_i+θ_j+θ_k)，a_i为机械手第i个指节的长度，θ_i为第i个关节的旋转角度，θ_j为第j个关节的旋转角度，θ_k为第k个关节的旋转角度，i,j,k＝1,2,3,4均表示关节序号，且S_i＝sinθ_i,S_ij＝sin(θ_i+θ_j),S_ijk＝sin(θ_i+θ_j+θ_k)，根据运动学旋转和平移关系公式A_i为第i个关节的运动矩阵，为第i个关节围绕z轴旋转θ_i，为第i个关节沿z轴平移d_i，为第i个关节沿x轴平移a_i，为第i个关节围绕x轴旋转α_i，则其余四指的D-H运动矩阵为：

大拇指坐标方向为基坐标顺时针旋转90°，则大拇指的D-H运动矩阵为：

所述逆运动学模块，根据正运动学D-H矩阵描述，末端坐标(P_x,P_y,P_z)对应的运动学矩阵中的表达式为：

根据给出末端点(P_x,P_y,P_z)的坐标值，所示逆运动学模块求解式(6)即可得到此时手部各个关节的运动角度：

4.根据权利要求2所述的一种仿人机械手抓取控制系统，其特征在于：所述预训练的深度神经网络模型采用的是Faster R-CNN网络模型，所述Faster R-CNN网络采用VGG网络的前13层卷积层提取图片特征；在图片特征矩阵上用3×3大小的滑动窗口方法，用RPN网络在每个滑动窗口上生成9种不同尺寸的候选区域；将候选区域输出为512维向量；将512维向量输入分类层和坐标回归层；深度网络模型输出为物体类别和物体坐标值(x,y,w,h)，所述Faster R-CNN网络的损失函数为分类损失L_cls和回归损失L_reg之和：

其中，p为物体分类概率值，t为物体定位坐标值；p_i为分类预测值，为真实值；t_i为坐标预测值，为坐标真实值。

5.根据权利要求2所述的一种仿人机械手抓取控制系统，其特征在于：所述抓取方案生成模块包含直接抓取方案生成模块和最优抓取区域方案生成模块；

所述抓取目标检测模块能够将目标物体从图片中分离出来，单独对每一个目标物体进行抓取变量分析，抓取检测中对于盒子状、长条状、球状的物体采取重心抓取策略，所述直接抓取方案生成模块需要用索贝尔算子对目标物体的边缘轮廓进行提取，根据物体轮廓确定可包围物体的最小矩形，用矩形的偏转角度描述物体的摆放角度和物体所需抓取长宽，则生成抓取方案所需要用到的变量(x,y,w,h,θ)；其中索贝尔算子：

结合水平方向梯度G_x和垂直方向梯度G_y，生成图像梯度设定边缘阈值则能够提取出图片的所有边缘轮廓，以最小轮廓生成包围矩形，以包围矩形的偏转角度描述物体角度θ；

所述最优抓取区域方案生成模块对于特殊形状物体，需要对物体的最优抓取区域和角度进行识别；最优抓取区域生成模型为一个预训练的3层卷积神经网络；第一层为3×3大小的卷积层，第二层和第三层为有128个神经元的全连接层，卷积层提取区域图片特征，后两层全连接层用于图片特征判断；第三层的激活函数为softmax函数，用于将输出转换为概率分布形式，3层卷积神经网络的损失函数为交叉熵损失；

所述最优抓取区域方案生成模块利用20×20、30×30、40×40和50×50四种尺寸滑动窗口扫描所述抓取目标检测模块检测出的目标物体；将滑动窗口输入最优抓取区域方案生成模型；用非极大值抑制方法选取所有窗口中最优窗口作为最优抓取区域；在最优抓取区域中用所述直接抓取方案生成抓取方案所需要用到的变量(x,y,w,h,θ)。

6.一种权利要求1至5任何一项所述的仿人机械手抓取控制系统的数据处理方法，其特征在于，包括以下步骤：

S1、打开所述设备模块的虚拟手仿真平台，虚拟手仿真平台对21自由度的五指仿人机械手的3D模型进行仿真；

S2、打开所述虚拟手仿真平台连接所述设备模块的摄像头采集待抓取目标物体图片；

S3、将图片输入所述目标抓取检测模块预训练的Faster R-CNN模型，将目标检测结果输入所述抓取方案生成模块的直接抓取或最优抓取方案生成模块，根据目标物体生成的抓取方案；

S4、根据6自由度机械臂逆运动学，由抓取方案的三维空间中待抓取物体的坐标和抓取角度，使所述设备模块中的机械臂运动至物体上方；

S5、所述设备模块的虚拟手仿真平台读取数据手套传感器数据，根据所述数据手套处理模块校准数据，并映射为仿人机械手运动角度；

S6、根据控制模块中已建立的正、逆运动学模型对仿真虚拟手和人手动作进行抓取动作同步。