CN110271007B - 一种机械手臂的物体抓取方法及相关装置 - Google Patents

Abstract

本申请公开了一种机械手臂的物体抓取方法，包括：采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；根据双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；根据最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，对待抓取物体执行抓取操作。通过训练得到实体分割模型，预测出进行抓取的最佳姿态数据和最佳抓取位置，以及抓取时的最佳抓取力度，增加了进行抓取时参数，提高了抓取过程的准确性以及精度。本申请还公开了一种物体抓取系统、机器人控制设备以及计算机可读存储介质，具有以上有益效果。

Description

一种机械手臂的物体抓取方法及相关装置

技术领域

本申请涉及自动控制技术领域，特别涉及一种机械手臂的物体抓取方法、物体抓取系统、机器人控制设备以及计算机可读存储介质。

背景技术

物体抓取在机器人环境交互过程中起到至关重要的作用。目前，对于三维视觉中的物体抓取，技术主要有两种：模型特征匹配抓取以及深度学习模型预测抓取姿态。模型特征匹配基于物体3D模型与现实物体进行特征匹配，从而获取模型转换后的抓取姿态，或者是基于一些外加的特征进行匹配比如二维码匹配方法；深度学习模型预测基于大量的姿态标签数据集，其中大部分也需要用到深度信息或者物体模型。在物体6D姿态预测模型上最相近的方案是Deep_6DPose网络结构模型，此网络也是只基于RGB图片来实现姿态预测，但并未考虑到最佳抓取位置以及触觉感知，对于物体遮挡的情况未能很好解决鲁棒性问题。

但是，由于不能同时知道抓取的最佳位置和最佳力度，即便知道了物体的6D姿态，仍无法获知是否能够准确抓取到物体，因而会降低机器人手臂抓取时的准确率和精度，导致最终抓取失败率较高。

因此，如何提高抓取物体时的准确率和精度是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种机械手臂的物体抓取方法、物体抓取系统、机器人控制设备以及计算机可读存储介质，通过训练得到实体分割模型，预测出进行抓取的最佳姿态数据和最佳抓取位置，以及抓取时的最佳抓取力度，增加了进行抓取时参数，提高了抓取过程的准确性以及精度。

为解决上述技术问题，本申请提供一种机械手臂的物体抓取方法，包括：

采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，所述训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；

根据所述双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；

根据所述最佳抓取位置数据、所述物体姿态数据以及所述最佳抓取力度数据，对所述待抓取物体执行抓取操作。

可选的，根据所述双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓握力度数据，包括：

采用所述双流抓取分割模型对所述待抓取物体的RGB图像进行特征提取以及数据预测处理，得到所述最佳抓取位置数据、所述物体姿态数据以及物体图片特征数据；

根据所述物体图片特征数据在抓取力度样本库进行匹配，得到所述最佳抓取力度数据。

可选的，还包括：

通过摄像头判断所述待抓取物体是否到达目标点；

若是，则发送抓取完成消息；

若否，则通过所述摄像头获取所述待抓取物体的移动速度，根据所述移动速度确定重抓取操作，对所述待抓取物体执行所述重抓取操作。

可选的，还包括：

判断机械手臂的压力传感器的压力传感数据是否持续减少；

若是，则执行重新抓取操作；

若否，则发送抓取完成消息。

本申请还提供一种物体抓取系统，包括：

模型训练模块，用于采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，所述训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；

图像处理模块，用于根据所述双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；

物体抓取模块，用于根据所述最佳抓取位置数据、所述物体姿态数据以及所述最佳抓取力度数据，对所述待抓取物体执行抓取操作。

可选的，所述图像处理模块，包括：

模型处理单元，用于采用所述双流抓取分割模型对所述待抓取物体的RGB图像进行特征提取以及数据预测处理，得到所述最佳抓取位置数据、所述物体姿态数据以及物体图片特征数据；

力度匹配单元，用于根据所述物体图片特征数据在抓取力度样本库进行匹配，得到所述最佳抓取力度数据。

可选的，还包括：

图像反馈判断模块，用于通过摄像头判断所述待抓取物体是否到达目标点；

第一执行正确模块，用于当所述待抓取物体到达所述目标点时，发送抓取完成消息；

第一重抓取模块，用于当所述待抓取物体未到达所述目标点时，通过所述摄像头获取所述待抓取物体的移动速度，根据所述移动速度确定重抓取操作，对所述待抓取物体执行所述重抓取操作。

可选的，还包括：

压力反馈判断模块，用于判断机械手臂的压力传感器的压力传感数据是否持续减少；

第二重抓取模块，用于当所述压力传感数据持续减少时，执行重新抓取操作；

第二执行正确模块，用于当所述压力传感数据未持续减少时，发送抓取完成消息。

本申请还提供一种机器人控制设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的物体抓取方法的步骤。

本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的物体抓取方法的步骤。

本申请所提供的一种机械手臂的物体抓取方法，包括：采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，所述训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；根据所述双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；根据所述最佳抓取位置数据、所述物体姿态数据以及所述最佳抓取力度数据，对所述待抓取物体执行抓取操作。

通过对初始双流抓取分割模型进行训练，得到用于预测的双流抓取分割模型，再采用该双流抓取分割模型对RGB图像进行预测得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，而不是仅仅识别出物体姿态数据，最后在抓取过程中加入了物体抓取位置和力度进一步提高了物体抓取的准确率和精度，减少抓取失败的次数。

本申请还提供一种物体抓取系统、机器人控制设备以及计算机可读存储介质，具有以上有益效果，在此不作赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种机械手臂的物体抓取方法的流程图；

图2为本申请实施例所提供的一种物体抓取系统的结构示意图。

具体实施方式

本申请的核心是提供一种机械手臂的物体抓取方法、物体抓取系统、机器人控制设备以及计算机可读存储介质，通过训练得到实体分割模型，预测出进行抓取的最佳姿态数据和最佳抓取位置，以及抓取时的最佳抓取力度，增加了进行抓取时参数，提高了抓取过程的准确性以及精度。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术主要有两种：模型特征匹配抓取以及深度学习模型预测抓取姿态。模型特征匹配基于物体3D模型与现实物体进行特征匹配，从而获取模型转换后的抓取姿态，或者是基于一些外加的特征进行匹配比如二维码匹配方法；深度学习模型预测基于大量的姿态标签数据集，其中大部分也需要用到深度信息或者物体模型。在物体6D姿态预测模型上最相近的方案是Deep_6DPose网络结构模型，此网络也是只基于RGB图片来实现姿态预测，但并未考虑到最佳抓取位置以及触觉感知，对于物体遮挡的情况未能很好解决鲁棒性问题。但是，由于不能同时知道抓取的最佳位置和最佳力度，即便知道了物体的6D姿态，仍无法获知是否能够准确抓取到物体，因而会降低机器人手臂抓取时的准确率和精度，导致最终抓取失败率较高。

因此，本申请提供一种机械手臂的物体抓取方法，通过对初始双流抓取分割模型进行训练，得到用于预测的双流抓取分割模型，再采用该双流抓取分割模型对RGB图像进行预测得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，而不是仅仅识别出物体姿态数据，最后在抓取过程中加入了物体抓取位置和力度进一步提高了物体抓取的准确率和精度，减少抓取失败的次数。

请参考图1，图1为本申请实施例所提供的一种机械手臂的物体抓取方法的流程图。

本实施例中，该方法可以包括：

S101，采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；

本步骤旨在对初始双流抓取分割模型进行训练，得到双流抓取分割模型。

其中，双流抓取分割模型是基于MaskRcnn(实例分割)网络构建出的网络。具体的，是在其主干部分增加了多个网络层保留了图片底层特征，在分支部分增加了抓取位置预测分支，物体姿态预测分支，以及提取物体图片特征数据三个分支得到的网络。因此，最终会存在三个平行的分支。应用在本实施例中就可以预测出最佳抓取位置数据、物体姿态数据、物体图片特征数据三种结果。

本步骤中采用RGB图像进行训练，使得该模型最后可以预测出最佳抓取位置数据、物体姿态数据以及物体图片特征数据。具体的，采用的训练过程可以采用以下实施例提供的训练过程，还可以采用现有技术提供的任意一种双流抓取分割模型训练方法，在此不做具体限定。

S102，根据双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；

在S101的基础上，本步骤旨在采用双流抓取分割模型对待抓取物体的RGB图像进行预测，以便得到各项抓取数据。具体的，本步骤中先根据双流抓取分割模型计算出最佳抓取位置数据、物体姿态数据、物体图片特征数据，然后根据物体图片特征匹配出对应的最佳抓取力度数据。其中，匹配过程可以采用提前准备的物体图片特征数据和抓取力度之间的对应关系，以便提高抓取力度的准确率。

可选的，本步骤可以包括：

步骤一，采用双流抓取分割模型对待抓取物体的RGB图像进行特征提取以及数据预测处理，得到最佳抓取位置数据、物体姿态数据以及物体图片特征数据；

步骤二，根据物体图片特征数据在抓取力度样本库进行匹配，得到最佳抓取力度数据。

S103，根据最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，对待抓取物体执行抓取操作。

在S102的基础上，本步骤旨在根据获取到的数据对待抓取数据执行抓取操作。具体的，抓取过程可以是先根据最佳抓取位置数据将机械手臂移动至进行抓取的位置，然后根据物体姿态数据调整机械手臂的抓取姿态以便达到最佳的抓取姿态，最后根据最佳抓取力度数据进行抓取。

现有技术中一般只采用其中两种数据对物体进行抓取，无论哪两种数据进行抓取操作都有可能造成抓取过程的失败，降低抓取的成功率。本实施例中，采用了新的双流抓取分割模型可以预测出三种抓取过程中必要的参数，而后进行抓取操作。在抓取操作的过程中机械手臂可以运行到最合适的位置进行抓取，并且采用的抓取力度最佳，进而提高了进行抓取操作的准确性，保持了抓取操作的成功率。

可选的，本实施例还可以包括：

通过摄像头判断待抓取物体是否到达目标点；

若是，则发送抓取完成消息；

若否，则通过摄像头获取待抓取物体的移动速度，根据移动速度确定重抓取操作，对待抓取物体执行重抓取操作。

可见，本可选方案主要是对摄像头采集的数据进行反馈判断。也就是判断抓取过程中物体是否按照预设方案进行移动，也就是判断待抓取物体是否到达目标点；若是，则表示抓取成功，发送抓取完成消息；若否，则表示可能出现抓取失败的情况，最后再通过物体的移动速度确定进行何种的重抓取操作。实现通过摄像头对抓取过程进行反馈操作。

可选的，本实施例还可以包括：

判断机械手臂的压力传感器的压力传感数据是否持续减少；

若是，则执行重新抓取操作；

若否，则发送抓取完成消息。

可见，本可选方案主要是对机械手臂的压力传感器的压力传感数据进行反馈判断。具体是判断压力传感数据是否持续减少。其中，持续减少是指压力传感数据逐渐降低到某个预设数值，可以是逐渐减低到0。若是，则执行重新抓取操作，若否，则表示抓取成功，

综上，本实施例通过对初始双流抓取分割模型进行训练，得到用于预测的双流抓取分割模型，再采用该双流抓取分割模型对RGB图像进行预测得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，而不是仅仅识别出物体姿态数据，最后在抓取过程中加入了物体抓取位置和力度进一步提高了物体抓取的准确率和精度，减少抓取失败的次数。

以下通过一个具体的实施例，对本申请提供的一种机械手臂的物体抓取方法做进一步说明。

本实施例中，该方法可以包括：

训练6D姿态预测模型；其中，该6D姿态预测模型基于Maskrcnn(实体分割模型)进行改进，在特征提取层增加了自底向上增强网络，将底层的强定位特征传递上去，以此增加6D姿态预估的鲁棒性。网络输出一共有三个分支：物体图像特征分支，物体最佳抓取位置分支，物体6D姿态(最佳抓取姿态)预测分支。另外，根据物体图像特征分支提取出物体图片特征，以便后续抓取力度的预测。将整合了物体6D姿态与最佳抓取位置的姿态信息称为最佳6D姿态。

触觉感知及抓取力度预测；具体的，是使用机械手上压力传感器数值以及力矩输出这两者作为抓取的力度标准(此处将两者合称为压力矩数据)。针对尽可能多的不同抓取属性的物体，提前建立物体图片特征矩阵与压力矩数据的一一对应关系，以此构造经验抓取数据库。在模型匹配过程中使用最近邻算法进行特征与压力矩数据的匹配。

然后利用训练后的6D姿态预测模型和外部kinect(体感外设名称)等摄像头获取视野内需要抓取物体的位置以及第一帧的6D姿态，机器人获得此信息后移动机械手到大概位置，从而转换为机器人手部RGB摄像头，以便后续进行物体图像特征、6D姿态以及最佳抓取位置的估计，并不断调整抓取位置与抓取姿态，将提取出来的物体图片特征与经验抓取数据库中的特征进行对比，匹配最相似的图片特征进而提取压力矩数据。至此，当机械手到达最佳抓取位置(Tx,Ty,Tz)时，将可以获得更为准确的物体6D姿态(Rx,Ry,Rz,tx,ty,tz)以及最佳抓取力矩输出G以及压力传感器数值F。

最后执行抓取动作，由6D姿态以及最佳抓取位置可确定最佳6D姿态为(Rx,Ry,Rz,Tx,Ty,Tz)，以特定的力矩输出G不断加大抓取角度直至三指的压力传感器数值与预测的数值达到设定的误差值即表示机械手抓取完成，移动至指定位置。在进行抓取的过程中，加入外部Kinect视觉反馈机制和内部触觉传感反馈机制，以便对抓取动作进行调整。其中，Kinect视觉反馈机制：以初始姿态为基准持续实时跟踪物体姿态，并实时更新最新外部姿态。内部触觉传感反馈机制：获取到匹配的压力矩数据后，将固定力矩输出，只控制压力传感器数据的平均输出，根据机械手实时的压力传感器数据和匹配的压力矩数据实时进行抓取力度更新与反馈。

若反馈无异常抵达抓取成功，则抓取动作完成。

本实施例中，还包括抓取前反馈机制，包括：

步骤1，当机械手逐渐到达物体位置的过程中，利用手部摄像头不断更新6D姿态，记录每个状态的ADD数值(判断6D姿态准确率的标准)，当出现比初始状态更好的6D姿态时，更新此时的6D姿态作为最佳抓取姿态。

步骤2，当获取最佳的抓取状态后，机械手缓慢(以压力传感震荡数值大小为准)抓取，此时根据在抓取数据库中获取到的最佳抓取力度来调整机械手抓取的压力，达到最佳抓取力度时判定为已抓取，下一步进行移动。

此外，已抓取后进行移动的反馈机制，包括：

步骤1，在整个抓取移动的过程中，初始kinect摄像头都实时跟踪物体并计算出物体移动速度，根据实时追踪物体的数据判断物体是否到达目标点；

步骤2，当物体到达目标点时，发送抓取完成消息；

步骤3，当物体未到达目标点时，判断物体的移动速度是否为零；

当物体移动速度为零时，当手部抓取传感器数值持续降低至初始值：判定物体抓取失败，机械手逐渐恢复初始位姿，重新获取初始kinect镜头下的6D姿态，重新通过手部摄像头校准抓取角度；手部抓取传感器数值较高于初始值(在预测抓取力度附近上下波动)：判断为视觉跟踪丢失，继续移动到目标点，完成移动时判断物体是否到达目标点；

当物体移动速度不为零时；当手部抓取传感器数值持续降低至初始值：判断为抓取过程物体掉落，机械手逐渐恢复初始位姿，重新获取初始kinect镜头下的6D姿态，重新通过手部摄像头校准抓取角度；手部抓取传感器数值较高于初始值(在预测抓取力度附近上下波动)：判断为抓取稳定，继续移动到目标点，完成移动时判断物体是否到达目标点。

可见，本申请实施例提供的，可以通过对初始双流抓取分割模型进行训练，得到用于预测的双流抓取分割模型，再采用该双流抓取分割模型对RGB图像进行预测得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据，而不是仅仅识别出物体姿态数据，最后在抓取过程中加入了物体抓取位置和力度进一步提高了物体抓取的准确率和精度，减少抓取失败的次数。

下面对本申请实施例提供的一种物体抓取系统进行介绍，下文描述的一种物体抓取系统与上文描述的一种机械手臂的物体抓取方法可相互对应参照。

请参考图2，图2为本申请实施例所提供的一种物体抓取系统的结构示意图。

本实施例中，该系统可以包括：

模型训练模块100，用于采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，所述训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；

图像处理模块200，用于根据所述双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；

物体抓取模块300，用于根据所述最佳抓取位置数据、所述物体姿态数据以及所述最佳抓取力度数据，对所述待抓取物体执行抓取操作。

可选的，该图像处理模块200，可以包括：

模型处理单元，用于采用所述双流抓取分割模型对所述待抓取物体的RGB图像进行特征提取以及数据预测处理，得到所述最佳抓取位置数据、所述物体姿态数据以及物体图片特征数据；

力度匹配单元，用于根据所述物体图片特征数据在抓取力度样本库进行匹配，得到所述最佳抓取力度数据。

可选的，该系统还可以包括：

图像反馈判断模块，用于通过摄像头判断所述待抓取物体是否到达目标点；

第一执行正确模块，用于当所述待抓取物体到达所述目标点时，发送抓取完成消息；

第一重抓取模块，用于当所述待抓取物体未到达所述目标点时，通过所述摄像头获取所述待抓取物体的移动速度，根据所述移动速度确定重抓取操作，对所述待抓取物体执行所述重抓取操作。

可选的，该系统还可以包括：

压力反馈判断模块，用于判断机械手臂的压力传感器的压力传感数据是否持续减少；

第二重抓取模块，用于当所述压力传感数据持续减少时，执行重新抓取操作；

第二执行正确模块，用于当所述压力传感数据未持续减少时，发送抓取完成消息。

本申请还提供一种机器人控制设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上实施例所述的物体抓取方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的物体抓取方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种机械手臂的物体抓取方法、物体抓取系统、机器人控制设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种机械手臂的物体抓取方法，其特征在于，包括：

采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，所述训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；

采用所述双流抓取分割模型对所述待抓取物体的RGB图像进行特征提取以及数据预测处理，得到最佳抓取位置数据、物体姿态数据以及物体图片特征数据；

根据所述物体图片特征数据在抓取力度样本库进行匹配，得到最佳抓取力度数据；

根据所述最佳抓取位置数据、所述物体姿态数据以及所述最佳抓取力度数据，对所述待抓取物体执行抓取操作。

2.根据权利要求1所述的物体抓取方法，其特征在于，还包括：

通过摄像头判断所述待抓取物体是否到达目标点；

若是，则发送抓取完成消息；

若否，则通过所述摄像头获取所述待抓取物体的移动速度，根据所述移动速度确定重抓取操作，对所述待抓取物体执行所述重抓取操作。

3.根据权利要求1所述的物体抓取方法，其特征在于，还包括：

判断机械手臂的压力传感器的压力传感数据是否持续减少；

若是，则执行重新抓取操作；

若否，则发送抓取完成消息。

4.一种物体抓取系统，其特征在于，包括：

模型训练模块，用于采用训练数据对初始双流抓取分割模型进行训练，得到双流抓取分割模型；其中，所述训练数据包括RGB图像、最佳抓取位置数据、物体姿态数据；

图像处理模块，用于根据所述双流抓取分割模型对待抓取物体的RGB图像进行预测，得到最佳抓取位置数据、物体姿态数据以及最佳抓取力度数据；

物体抓取模块，用于根据所述最佳抓取位置数据、所述物体姿态数据以及所述最佳抓取力度数据，对所述待抓取物体执行抓取操作。

其中，所述图像处理模块，包括：

模型处理单元，用于采用所述双流抓取分割模型对所述待抓取物体的RGB图像进行特征提取以及数据预测处理，得到所述最佳抓取位置数据、所述物体姿态数据以及物体图片特征数据；

力度匹配单元，用于根据所述物体图片特征数据在抓取力度样本库进行匹配，得到所述最佳抓取力度数据。

5.根据权利要求4所述的物体抓取系统，其特征在于，还包括：

图像反馈判断模块，用于通过摄像头判断所述待抓取物体是否到达目标点；

第一执行正确模块，用于当所述待抓取物体到达所述目标点时，发送抓取完成消息；

第一重抓取模块，用于当所述待抓取物体未到达所述目标点时，通过所述摄像头获取所述待抓取物体的移动速度，根据所述移动速度确定重抓取操作，对所述待抓取物体执行所述重抓取操作。

6.根据权利要求4所述的物体抓取系统，其特征在于，还包括：

压力反馈判断模块，用于判断机械手臂的压力传感器的压力传感数据是否持续减少；

第二重抓取模块，用于当所述压力传感数据持续减少时，执行重新抓取操作；

第二执行正确模块，用于当所述压力传感数据未持续减少时，发送抓取完成消息。

7.一种机器人控制设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的物体抓取方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的物体抓取方法的步骤。

Images