CN117681211A - 基于深度学习的二指欠驱动机械手爪抓取位姿检测方法 - Google Patents

Abstract

基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，属于机器人技术领域。通过建立位姿映射函数、建立深度学习网络预测模型、制作数据集，实现基于深度学习的二指欠驱动机械手爪抓取位姿的检测。包括以下步骤：S1.建立物体与二指欠驱动机械手爪之间的位姿映射函数；S2.根据位姿映射函数，构建深度学习网络预测模型；S3.制作数据集，并将数据集划分为预测模型的训练集、验证集和测试集。S4.利用S2的预测模型实现二指欠驱动机械手爪对物体的抓取位姿的预测。本发明能够通过深度学习的方式，准确地检测到物体的最优抓取位置并确定二指欠驱动机械手爪在运动到该位置时对物体的最优抓取位姿；本发明不仅具有较高的检测准确率，而且泛化性较好。

Description

基于深度学习的二指欠驱动机械手爪抓取位姿检测方法

技术领域

本发明属于机器人技术领域，具体涉及一种基于深度学习的二指欠驱动机械手爪抓取位姿检测方法。

背景技术

准确地检测到物体的最优抓取位置并确定机械手爪在运动到该位置时对物体的最优抓取位姿，是二指欠驱动机械手爪在抓取物体时实现成功抓取的关键。因此，建立物体与二指欠驱动机械手爪之间的位姿转换关系，并通过建立的深度学习网络预测模型，不断学习这种转换关系，准确完成从物体位置到机械手爪抓取位姿的映射，是二指欠驱动机械手爪进行抓取位姿检测的难点；同时，制作合适的数据集，对网络预测模型进行训练、验证和测试，是利用深度学习完成二指欠驱动机械手爪抓取位姿检测的关键。

发明内容

本发明从上述难点和关键点出发，通过建立位姿映射函数、建立深度学习网络预测模型、制作数据集，提供一种基于深度学习的二指欠驱动机械手爪抓取位姿检测方法。

本发明所采取的技术方案是：

基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，包括以下步骤：

S1.建立物体与二指欠驱动机械手爪之间的位姿映射函数；

S2.根据位姿映射函数，构建深度学习网络预测模型；

S3.制作数据集，并将数据集划分为预测模型的训练集、验证集和测试集；

S4.利用S2的预测模型实现二指欠驱动机械手爪对物体的抓取位姿的预测。

本发明与现有技术相比具有以下有益效果：

本发明能够通过深度学习的方式，准确地检测到物体的最优抓取位置并确定二指欠驱动机械手爪在运动到该位置时对物体的最优抓取位姿。

本发明提出的方法不仅具有较高的检测准确率，而且泛化性较好，能够检测物理尺寸在二指欠驱动机械手爪最大开合范围内的物体的抓取位姿。

附图说明

图1是位姿映射函数包含的物理量的示意图；

图2是图1的二维等效示意图；

图3是预测模型的示意图；

图4是利用预测模型实现二指欠驱动机械手爪对物体的抓取位姿的预测流程。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明的做进一步详细的描述。

本发明的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，

S1.建立物体与二指欠驱动机械手爪之间的位姿映射函数(如图1)

由于本发明涉及到二指欠驱动机械手爪对物体的抓取位置和抓取姿态的检测，因此，本发明首先构建一个关于物体和二指欠驱动机械手爪之间位姿转换关系的映射函数：

F＝{x，y，l，w，θ} (1)

式中(x,y)——二指欠驱动手爪抓取物体时，手爪在物体坐标系下的中心点坐标；

l——二指欠驱动机械手爪的最大开合距离；

w——二指欠驱动机械手爪的宽度；

θ——二指欠驱动手爪相对于物体坐标系x轴的转角。

S2.根据位姿映射函数，构建深度学习网络预测模型(如图3)

由于二指欠驱动机械手爪在对物体进行抓取操作时，首先需要获取物体的图像信息，并基于图像信息，完成对物体的抓取。因此，本发明所构建的映射函数在图像上的转换关系如图2所示。(图1是三维映射关系，图2相当于图1的二维等效)

此外，为了便于预测模型的学习，获取的图像需要经过预处理，将图像的像素调整为统一规模后，才能作为预测模型的输入。

综上，本发明所构建的深度学习网络预测模型，以经过预处理的抓取物体的图像为输入，以上述映射函数中包含的5个物理量为输出。通过该预测模型，实现二指欠驱动机械手爪对物体的抓取位姿的预测。

为了使预测模型学习的图像特征尽可能的全面，本发明所构建的卷深度学习网络预测模型的网络结构具有“特征全连接”的特点，即采用全连接的方式对卷积层提取出的特征向量进行拟合，这是由于全连接层最显著的特点在于处于该层的各个神经元都与输入层的各个神经元相连，能够完整地保留输入神经元的信息。

本发明的目的是为了实现二指欠驱动手爪对物体抓取位姿的预测，因此本发明是对图像的输入特征直接进行学习，并用全连接层对提取的特征向量直接进行分类，最终输出映射函数的预测结果。

综上所述，本发明所构建的抓取检测网络模型架构如下：

S21.输入图像；

S22.采用3X3卷积核提取图像特征，并采用2X2卷积核对提取的图像特征向量进行压缩；

S23.重复S22四次，即S22执行了五次；

S24.采用3X3卷积核提取图像特征；

S25.对S24提取的特征进行拟合：采用三个全连接层逐级连续拟合，最后一个全连接层输出预测函数包含的五个物理量。

为了避免全连接层完全连接的特点使得网络陷入过拟合状态，同时保证网络模型能够获得理想的输出结果，本发明以损失函数为目标函数，通过模型训练过程中对损失函数进行寻优来提升网络预测模型的泛化能力。

本发明中的损失函数是通过预测值与标签值的误差平方和对模型训练过程中的损失进行表示：

式中(x，y)——模型预测的物体抓取位置的中心点坐标；

——数据集中物体抓取位置的中心点坐标；

l——二指欠驱动手爪的最大开合长度的预测值；

——二指欠驱动手爪最大开合长度的标签值；

w——模型预测的二指欠驱动手爪的宽度；

——二指欠驱动手爪宽度的标签值；

λ_C——坐标值损失的平衡系数；

λ_a——角度值损失的平衡系数；

S_c——模型的平移损失；

S_a——模型的旋转损失。

为了获得理想的输出结果，本发明针对平移损失和旋转损失分别设置不同的平衡系数，保证平移和旋转带来的损失对模型的影响一致。

S3.制作数据集，对S2的预测模型进行训练、验证及测试，将数据集按照3:1:1的比例，划分为预测模型的训练集、验证集和测试集；

由于本发明中的欠驱动二指机械手爪的物理最大开合尺寸已知，因此制作一个物理尺寸在二指欠驱动机械手爪最大开合范围内的，包含30个不同物体共计900张图片的数据集(900张图片是从不同角度对30个物体进行拍摄得到)，作为预测模型的训练集、验证集和测试集，比例为3:1:1。

具体步骤：

S31.使用深度相机获取包含物体深度信息的图像；

S32.预处理获取的图像：对获取的图像进行压缩或拉伸，使其像素大小为n*n，并作为模型的输入；

S33.对模型的输入进行特征提取：经过五次“卷积-最大池化”；

S34.对第五次的最大池化结果进行特征提取；

S35.对S34提取的特征进行拟合：通过三个全连接层对特征进行“粗分类-细分类-输出预测结果”；

S36.制作数据集，用于模型的训练、验证和测试；

S37.本发明通过定义损失函数，确保模型训练的顺利；

S38.定义模型训练次数为P，每次迭代步数为Q；

S39.当网络模型在训练集上的迭代次数达到最大时，训练停止；

S310.模型最终输出的是映射函数中的五个物理量。

针对具体步骤的说明：

1.针对S32(预处理获取的图像)：

(1)对获取的图像进行压缩或拉伸处理后，图片的像素尺寸为224*224，在压缩或拉伸处理中，只是改变了图像的像素大小，并没有对其深度信息进行改变；

(2)将预处理后的图像作为预测模型的输入，即预测模型是对预处理后的图像进行学习与预测。

2.针对S33：

(1)卷积层的作用是对图像的特征进行提取，最大池化层的作用是对卷积层提取出的图像特征进行压缩，保留特征向量的显著特征，并学习这些显著特征；

(2)最大池化对对特征向量进行压缩时，只是对其大小进行了压缩，并未对特征向量的深度进行任何改变；

(3)经过五次“卷积-最大池化”后，保留下来的都是卷积层提取出的特征向量的显著特征。

3.针对S34：对第五次的最大池化结果进行特征提取，目的是对显著特征进行提取，并将提取的特征作为模型输出结果的输入数据。

4.针对S35：

(1)第一层全连接层是对S34提取出的特征向量进行分类；

(2)第二层全连接层是对第一层全连接层的分类结果进行分类；

(3)第三层全连接层是对第二层全连接层的结果进行分类，并输出预测结果。

5.针对S36：

(1)根据欠驱动二指机械手爪的物理最大开合尺寸已知，选取30个物理尺寸在二指欠驱动机械手爪最大开合范围内的不同物体，并对这些物体从不同角度进行拍摄，得到900张图片；

(2)对900张图片进行标记，形成数据集，并以3:1:1的比例作为预测模型的训练集、验证集和测试集。

6.针对S37：损失函数的作用是对平移和旋转的损失加以平衡，保证模型在达到最大训练次数时能够收敛。

S4.利用S2的预测模型实现二指欠驱动机械手爪对物体的抓取位姿的预测。

在工业机器人的设计中，利用本发明可以使工业机器人更好的识别流水线上的工件并对其进行更精准的操作。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (8)

1.一种基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：包括以下步骤：

S1.建立物体与二指欠驱动机械手爪之间的位姿映射函数；

S2.根据位姿映射函数，构建深度学习网络预测模型；

S3.制作数据集，并将数据集划分为预测模型的训练集、验证集和测试集；

S4.利用S2的预测模型实现二指欠驱动机械手爪对物体的抓取位姿的预测。

2.根据权利要求1所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：所述S1中位姿映射函数为：

F＝{x，y，l，w，θ} (1)

式中(x,y)——二指欠驱动手爪抓取物体时，手爪在物体坐标系下的中心点坐标；

l——二指欠驱动机械手爪的最大开合距离；

w——二指欠驱动机械手爪的宽度；

θ——二指欠驱动手爪相对于物体坐标系x轴的转角。

3.根据权利要求1所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：所述S2中构建深度学习网络预测模型的具体步骤为：

S21.输入图像；

S22.采用3X3卷积核提取图像特征，并采用2X2卷积核对提取的图像特征向量进行压缩；

S23.重复S22四次，即S22执行了五次；

S24.采用3X3卷积核提取图像特征；

S25.对S24提取的特征进行拟合：采用三个全连接层逐级连续拟合，最后一个全连接层输出预测函数包含的五个物理量。

4.根据权利要求3所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：以损失函数为目标函数，通过模型训练过程中对损失函数进行寻优来提升网络预测模型的泛化能力。

5.根据权利要求4所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：所述损失函数是通过预测值与标签值的误差平方和对模型训练过程中的损失进行表示：

式中(x,y)——模型预测的物体抓取位置的中心点坐标；

——数据集中物体抓取位置的中心点坐标；

l——二指欠驱动手爪的最大开合长度的预测值；

——二指欠驱动手爪最大开合长度的标签值；

w——模型预测的二指欠驱动手爪的宽度；

——二指欠驱动手爪宽度的标签值；

λ_c——坐标值损失的平衡系数；

λ_a——角度值损失的平衡系数；

S_c——模型的平移损失；

S_a——模型的旋转损失。

6.根据权利要求5所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：所述S3中制作的数据集为：一个物理尺寸在二指欠驱动机械手爪最大开合范围内的，包含30个不同物体共计900张图片的数据集，作为预测模型的训练集、验证集和测试集，比例为3:1:1。

7.根据权利要求6所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：所述S3中制作数据集的具体步骤为：

S31.使用深度相机获取包含物体深度信息的图像；

S32.预处理获取的图像：对获取的图像进行压缩或拉伸，使其像素大小为n*n，并作为模型的输入；

S33.对模型的输入进行特征提取：经过五次“卷积-最大池化”；

S34.对第五次的最大池化结果进行特征提取；

S35.对S34提取的特征进行拟合：通过三个全连接层对特征进行“粗分类-细分类-输出预测结果”；

S36.制作数据集，用于模型的训练、验证和测试；

S37.通过定义损失函数，确保模型训练的顺利；

S38.定义模型训练次数为P，每次迭代步数为Q；

S39.当网络模型在训练集上的迭代次数达到最大时，训练停止；

S310.模型最终输出的是映射函数中的五个物理量。

8.根据权利要求7所述的基于深度学习的二指欠驱动机械手爪抓取位姿检测方法，其特征在于：所述S35中，第一层全连接层是对S34提取出的特征向量进行分类；第二层全连接层是对第一层全连接层的分类结果进行分类；第三层全连接层是对第二层全连接层的结果进行分类，并输出预测结果。