CN115213896A - 基于机械臂的物体抓取方法、系统、设备及存储介质 - Google Patents

Abstract

本申请公开一种基于机械臂的物体抓取方法、系统、设备及存储介质，涉及机械手技术领域，解决了由于物体定位精度不高导致机械臂物体抓取的准确率较低的问题。具体方案包括：接收采集设备发送的目标区域的目标图像和目标点云数据，目标区域包括待抓取的目标物体；根据目标图像、目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标，目标区域坐标包括目标物体的各个像素点中每个像素点的坐标；根据目标点云数据和区域坐标，确定目标物体的物体点云数据；根据物体点云数据确定目标物体的目标位姿；向机械臂发送目标位姿，目标位姿用于机械臂抓取目标物体。

Description

基于机械臂的物体抓取方法、系统、设备及存储介质

技术领域

本申请涉及机械手技术领域，尤其涉及一种基于机械臂的物体抓取方法、系统、设备及存储介质。

背景技术

传统工业生产过程一般由人工来完成工件的抓取、搬运、安装，生产效率低，工作危险性大，劳动力费用高，工作强度高，作业人员更换率较高，比如物流行业的物体分拣、工业生产线上零件的装配等。随着工业自动化与智能化水平的提高，机械臂对于物体的智能抓取具有巨大的应用需求。

现有技术中，通常利用目标物体的点云来确定目标物体的位置，进而根据目标物体的位置控制机械臂进行物体抓取。但这种方法确定出的目标物体的定位精度不高，导致机械臂抓取物体的准确率较低。

发明内容

本申请提供一种基于机械臂的物体抓取方法、系统、设备及存储介质，解决了由于物体定位精度不高导致机械臂物体抓取的准确率较低的问题。

为达到上述目的，本申请采用如下技术方案：

本申请实施例第一方面，提供一种基于机械臂的物体抓取方法，该方法包括：接收采集设备发送的目标区域的目标图像和目标点云数据，目标区域包括待抓取的目标物体；

根据目标图像、目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标，目标区域坐标包括目标物体的各个像素点中每个像素点的坐标；

根据目标点云数据和区域坐标，确定目标物体的物体点云数据；

根据物体点云数据确定目标物体的目标位姿；

向机械臂发送目标位姿，目标位姿用于机械臂抓取目标物体。

在一个实施例中，根据目标图像、目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标，包括：

将目标图像输入至目标分割模型中得到目标图像的多个像素区域中各像素区域对应的标签信息，标签信息中包括像素区域对应的标识信息和区域坐标，区域坐标包括多个像素点；

根据像素区域和标识信息的对应关系，确定目标标识信息对应的目标像素区域；

将目标像素区域对应的区域坐标确定为目标区域坐标。

在一个实施例中，根据目标点云数据和区域坐标，确定目标物体的物体点云数据，包括：

获取目标图像包括的每个像素点的坐标与每个目标点云数据的坐标之间的映射关系；

根据映射关系确定区域坐标对应的物体点云数据。

在一个实施中，根据目标图像、目标物体对应的目标标识信息和预存的目标分割模型，确定区域坐标之前，方法还包括：

获取多个物体的样本图像；

确定每个样本图像的样本像素区域，并确定每个样本图像的每个样本像素区域对应的标签信息，标签信息包括样本像素区域对应的区域坐标和标识信息；

利用多个物体的样本图像和每个样本图像中各像素区域对应的标签信息，对预设的定位分割模型进行训练，得到目标分割模型。

在一个实施中，确定每个样本图像的样本像素区域，包括：

对每个样本图像进行边缘分割处理，得到每个样本图像包括的物体的目标轮廓；

根据每个样本图像对应的目标轮廓，对每个样本图像进行区域划分，得到每个样本图像的第一样本像素区域和第二样本像素区域；

其中，目标轮廓内的像素点形成第一样本像素区域，第二样本像素区域为样本图像中的空白区域。

在一个实施中，确定每个样本图像的每个样本像素区域对应的标签信息，包括：

当第一样本像素区域对应的目标轮廓与预存的像素轮廓匹配成功时，将像素轮廓对应的标识信息作为第一样本像素区域对应的标识信息；

获取第二样本像素区域对应的预设标识信息；

根据像素区域中每个像素点的坐标确定像素区域对应的区域坐标。

在一个实施中，物体点云数据为目标物体在目标坐标系下的点云数据，目标坐标系为采集设备所使用的坐标系；

根据物体点云数据确定目标物体的目标位姿，包括：

获取目标标识信息对应的点云模板数据，点云模板数据为目标物体在预设坐标系下的点云数据；

根据物体点云数据和点云模板数据，确定目标位姿。

在一个实施中，根据物体点云数据和点云模板数据，确定目标位姿，包括：

根据物体点云数据、点云模板数据、预设的点特征直方图及预设的基于采样匹配一致性的特征匹配算法得到目标物体的初始位姿，初始位姿为目标物体基于采集设备的位姿；

对初始位姿和物体点云进行迭代计算，得到所述目标物体的优化位姿；

获取采集设备与机械臂的基座之间的目标坐标转换关系；

根据优化位姿和目标坐标转换关系确定目标位姿，目标位姿为目标物体基于机械臂的基座的位姿。

在一个实施中，获取采集设备与机械臂的基座之间的目标坐标转换关系，包括：

获取物体在各不同位姿下的第一坐标转换关系和对应的第二坐标转换关系，第一坐标转换关系为采集设备与机械臂的抓手之间的坐标转换关系，第二坐标转换关系为基座与抓手之间的坐标转换关系；

根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关系。

在一个实施中，根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关系，包括：

根据每个第一坐标转换关系和对应的第二坐标转换关系，得到每个第一坐标转换关系对应的第三坐标转换关系；

将多个第三坐标转换关系进行最小二乘拟合计算，得到目标坐标转换关系。

在一个实施中，获取目标物体对应的点云模板之前，方法还包括：

在目标物体的点云数据上选取至少两个点云数据建立预设坐标系；

根据预设坐标系确定点云模板数据。

本申请实施例第二方面，还提供了一种基于机械臂的物体抓取系统，该系统包括：采集设备、电子设备和机械臂；

采集设备，用于采集目标区域的目标图像和目标点云数据，目标区域包括待抓取的目标物体，并向电子设备发送采集到的目标图像和目标点云数据；

电子设备，用于接收采集设备发送的目标图像和目标点云数据，目标图像的图像内容中包括待抓取的目标物体，目标点云数据中包括目标物体的物体点云数据；

电子设备，还用于采用预存的目标分割模型对目标图像进行图像处理，得到区域坐标，区域坐标包括目标物体的各个像素点以及每个像素点的坐标；

电子设备，还用于根据目标点云数据和区域坐标，确定物体点云数据；

电子设备，还用于根据物体点云数据确定目标物体的目标位姿，并向机械臂发送目标位姿；

机械臂，用于根据目标位姿抓取目标物体。

本申请实施例第三方面，还提供了一种电子设备，该设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面的基于机械臂的物体抓取方法。

本申请实施例第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面的基于机械臂的物体抓取方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请提供的基于机械臂的物体抓取方法，通过接收采集设备发送的包括待抓取物体的区域的目标图像和目标点云数据，并根据目标物体对应的目标标识信息和预设的目标分割模型，确定目标物体的各个像素点中每个像素点的坐标，然后根据目标点云数据和区域坐标，确定目标物体的物体点云数据，最后根据物体点云数据确定目标物体的目标位姿，并将目标发送给机械臂，以使机械臂根据目标位姿进行目标物体的抓取。本申请实施例提供的基于机械臂的物体抓取方法，是利用图像确定的区域坐标，然后根据区域坐标和点云数据得到目标物体的点云数据，由于图像数据相较于离散的点云数据连续性更好，因此相较于现有技术中直接利用点云数据得到目标物体的点云，本申请的方法确定的目标物体的点云更加精确，因此能够提高物体的定位精度。

进一步的，本申请由于是对图像进行分割得到目标物体的区域坐标，相较于现有技术中直接对点云数据进行分割，数据处理的效率更高，进而使得物体的定位效率更高。

附图说明

图1为本申请实施例提供的一种计算机设备的内部结构示意图；

图2为本申请实施例提供的一种基于机械臂的物体抓取方法的流程图；

图3为本申请实施例提供的一种基于机械臂的物体抓取原理的示意图；

图4为本申请实施例提供的一种基于机械臂的物体抓取系统的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出的值。

传统工业生产过程一般由人工来完成工件的抓取、搬运、安装，生产效率低，工作危险性大，劳动力费用高，工作强度高，作业人员更换率较高，比如物流行业的物体分拣、工业生产线上零件的装配等。随着工业自动化与智能化水平的提高，机器人机械臂对于物体的智能抓取具有巨大的应用需求，但现在的工业机器人灵活程度低，只能根据教程完成单一的抓取和安装，无法根据物体不同的位姿做出相应的判断。在实际生产过程中，往往需要大量的机器人协同工作，占有了大量的空间。

工业上，机械臂抓取操作大多采用传统示教的方式。然而对于一个全新的操作物体或者一个全新的操作环境，就需要对机械臂重新进行人工示教。此外，示教的抓取方法只能针对单一的物体进行抓取，且不能适应复杂场景下物体的不同姿态，同时随着传感器增多，成本也提升。随着机器视觉的发展与应用，越来越多基于视觉的智能化机械臂抓取位姿计算方法被提出。这些方法大体上可以分为两类，第一类方法基于机器学习，第二类方法则基于模板匹配。

基于机器学习的计算方法通过学习的方式处理视觉图像中的特征，对抓取的位姿做出估计。该类方法依赖于被抓取物体的表面纹理信息，对于纹理信息丰富的物体具有较好的抓取位姿计算结果。然而，该方法在遇到表面缺少纹理信息的抓取物体时效果显然不理想。而基于模板匹配的方法则是将被抓取物体的轮廓信息与模板库中的模板轮廓进行匹配，从而根据最佳匹配模板的抓取位姿来估计被抓取物体的位姿。此类方法不再基于物体表面的纹理信息，只需物体的轮廓即可。因此，该类方法能够改善纹理缺失的物体抓取。

现有技术中，通常利用目标物体的点云来确定目标物体的位置，进而根据目标物体的位置控制机械臂进行物体抓取。但这种方法确定出的目标物体的定位精度不高，导致机械臂抓取物体的准确率较低。并且在位姿确定过程中，传统的基于机器视觉机械臂抓取方法往往只利用了二维信息，而忽视了三维结构信息，对于二维的目标检测方法无法确定目标的三维姿态，因此对于随意放置的目标物难以根据其不同位姿规划出最佳抓取方式。

为了解决上述问题，本申请实施例提供了一种基于机械臂的物体抓取方法，通过接收采集设备发送的包括待抓取物体的区域的目标图像和目标点云数据，并根据目标物体对应的目标标识信息和预设的目标分割模型，确定目标物体的各个像素点中每个像素点的坐标，然后根据目标点云数据和区域坐标，确定目标物体的物体点云数据，最后根据物体点云数据确定目标物体的目标位姿，并将目标发送给机械臂，以使机械臂根据目标位姿进行目标物体的抓取。本申请实施例提供的基于机械臂的物体抓取方法，是利用图像确定的区域坐标，然后根据区域坐标和点云数据得到目标物体的点云数据，由于图像数据相较于离散的点云数据连续性更好，因此相较于现有技术中直接利用点云数据得到目标物体的点云，本申请的方法确定的目标物体的点云更加精确，因此能够提高物体的定位精度。

进一步的，本申请由于是对图像进行分割得到目标物体的区域坐标，相较于现有技术中直接对点云数据进行分割，数据处理的效率更高，进而使得物体的定位效率更高。

本申请实施例提供的基于机械臂的物体抓取方法的执行主体可以为电子设备，该电子设备可以为计算设备、终端设备或服务器，其中，终端设备可以为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等，本申请对比不作具体限定。

可选的，该电子设备还可以为处理器或处理芯片，当该电子设备为处理器或处理芯片时，该电子设备可以集成于机械臂中。

图1为本申请实施例提供的一种计算机设备的内部结构示意图。如图1所示，该计算机设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例提供的一种气体扩散层参数确定方法的步骤。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

基于上述执行主体，本申请实施例提供一种基于机械臂的物体抓取方法。如图2所示，该方法包括以下步骤：

步骤201、接收采集设备发送的目标区域的目标图像和目标点云数据。

其中，目标区域包括待抓取的目标物体。目标物体为待抓取的物体，目标区域为采集设备采集目标物体时的拍摄到的或者采集到的区域。

需要说明的是，采集设备可以是一个设备或多个设备的集成，采集设备可以实现目标区域图像的采集以及目标区域点云数据的采集。

步骤202、根据目标图像、目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标，目标区域坐标包括目标物体的各个像素点中每个像素点的坐标。

其中，预设的目标分割模型为利用样本图像训练好的模型，通过训练好的分割模型可以将目标图像中的目标物体进行提取，得到目标物体的各个像素点中每个像素点的坐标。

步骤203、根据目标点云数据和目标区域坐标，确定目标物体的物体点云数据。

在得到目标物体的各个像素点以及每个像素点的坐标后，可以根据目标点云数据和目标区域坐标，得到与目标区域坐标对应的物体点云数据。

步骤204、根据物体点云数据确定目标物体的目标位姿。

步骤205、向机械臂发送目标位姿，目标位姿用于机械臂抓取目标物体。

本申请提供的基于机械臂的物体抓取方法，通过接收采集设备发送的包括待抓取物体的区域的目标图像和目标点云数据，并根据目标物体对应的目标标识信息和预设的目标分割模型，确定目标物体的各个像素点中每个像素点的坐标，然后根据目标点云数据和区域坐标，确定目标物体的物体点云数据，最后根据物体点云数据确定目标物体的目标位姿，并将目标发送给机械臂，以使机械臂根据目标位姿进行目标物体的抓取。本申请实施例提供的基于机械臂的物体抓取方法，是利用图像确定的区域坐标，然后根据区域坐标和点云数据得到目标物体的点云数据，由于图像数据相较于离散的点云数据连续性更好，因此相较于现有技术中直接利用点云数据得到目标物体的点云，本申请的方法确定的目标物体的点云更加精确，因此能够提高物体的定位精度。

进一步的，本申请由于是对图像进行分割得到目标物体的区域坐标，相较于现有技术中直接对点云数据进行分割，数据处理的效率更高，进而使得物体的定位效率更高。

可选的，上述步骤202的具体实现过程可以为：将目标图像输入至目标分割模型中得到目标图像的多个像素区域中各像素区域对应的标签信息，标签信息中包括像素区域对应的标识信息和区域坐标，区域坐标包括多个像素点，然后根据像素区域和标识信息的对应关系，确定目标标识信息对应的目标像素区域；最后，将目标像素区域对应的区域坐标确定为目标区域坐标。

其中，区域坐标为组成该区域的多个像素点，以及每个像素点包括的坐标。得到的多个像素区域为分割模型对图片分割得到每种物体的像素区域，以及每个像素区域对应的标识信息，该标识信息可以为每个区域的像素组成的物体的名称。

示例的，如一张图片中包括零件，人和其他空白区域，则将该图片输入训练好的图片分割模型中，该模型就可以输出分割标识为零件的区域，人的区域和空白的区域。

需要说明的是，目标分割模型为利用样本图像训练好的模型，因此，在将目标图像输入至目标分割模型中得到目标图像的多个像素区域中各像素区域对应的标签信息之前，需要对分割模型进行训练，具体的训练方法可以为：

获取多个物体的样本图像，并确定每个样本图像的样本像素区域，以及确定每个样本图像的每个样本像素区域对应的标签信息，标签信息包括样本像素区域对应的区域坐标和标识信息，最后，利用多个物体的样本图像和每个样本图像中各像素区域对应的标签信息，对预设的定位分割模型进行训练，得到目标分割模型。

其中，分割模型可以为基于深度学习的语义分割模型，该模型可以采用LinkNet网络结构，并在训练过程中，采用深度模型微调(fine-tuning)的训练方法进行训练，这种训练方法可以减少因新增物体类别而重复训练的时间和资源消耗。

其中，确定每个样本图像的样本像素区域，以及确定每个样本图像的每个样本像素区域对应的标签信息即为确定每个样本图像的标签信息，然后利用标签信息和样本图像对预设的分割模型进行训练。

可选的，确定每个样本图像的样本像素区域的过程，可以为：

对每个样本图像进行边缘分割处理，得到每个样本图像包括的物体的目标轮廓；根据每个样本图像对应的目标轮廓，对每个样本图像进行区域划分，得到每个样本图像的第一样本像素区域和第二样本像素区域；其中，目标轮廓内的像素点形成第一样本像素区域，第二样本像素区域为样本图像中的空白区域。

具体的，上述过程中的确定每个样本图像的每个样本像素区域对应的标签信息的具体过程可以为：当第一样本像素区域对应的目标轮廓与预存的像素轮廓匹配成功时，将像素轮廓对应的标识信息作为第一样本像素区域对应的标识信息；获取第二样本像素区域对应的预设标识信息；根据像素区域中每个像素点的坐标确定像素区域对应的区域坐标。

需要说明的是，上述确定每个样本图像的样本像素区域的过程，实际为如何生成样本图像的标签的过程。在利用深度学习进行自动定位与检测，通常需要大量的标签样本，现有技术中，通常是利用标签工具手动对图片做标签，人工手动标记费时费力，需要大量的人力成本、时间成本。本申请利用可以图像处理算法提取到目标的区域及轮廓，然后输出区域坐标、类别的标签信息。这样可以提高标签的生成效率。

在一个实施例中，上述步骤203的具体实现过程可以为：获取目标图像包括的每个像素点的坐标与每个目标点云数据的坐标之间的映射关系，并根据映射关系确定区域坐标对应的物体点云数据。

需要说明的是，采集设备采集得到的目标图像的像素点和目标点云数据之间存在预设的映射关系，因此，在得到目标物体的目标区域坐标后，可以根据预设的映射关系，得到目标区域坐标中的像素点对应的目标物体的点云数据。

在一个实施例中，物体点云数据为目标物体在目标坐标系下的点云数据，目标坐标系为采集设备所使用的坐标系；

上述步骤204的具体实现过程可以为：获取目标标识信息对应的点云模板数据，并根据物体点云数据和点云模板数据，确定目标位姿。

其中，点云模板数据为目标物体在预设坐标系下的点云数据，目标位姿为基于机械臂的基座的位姿。

由于点云模板数据为目标物体在预设坐标系下的点云数据，因此，在获取点云模板之前，需要提前得到各个物体对应的点云模板数据。

具体的，可以通过在目标物体的点云数据上选取至少两个点云数据建立预设坐标系，并根据预设坐标系确定点云模板数据。

在实际实现过程中，根据预先获取到的物体的点云数据上选定的两点，根据第一点确定坐标系原点及该点处的点云法向量n，并将其作为抓取坐标系的Z轴，然后根据该法向量求取切平面，记为XOY，再将第二点在切平面的投影点与原点组成的向量作为X轴，在形成的XOY面上求取X轴的法向量记为Y轴，那么XOY平面方程：A*(x-x0)+B*(y-y0)+C*(z–z0)＝0，其中法向量n＝(A，B，C)，两向量垂直：X*n＝0，Y*n＝0，这样就可以通过两点建立预设坐标系。

需要说明的是，步骤203得到的物体点云数据为基于采集设备下的物体点云数据，因此需要首先根据物体点云数据和点云模板数据确定出物体在采集设备下的位姿，而在实际的机械臂进行物体抓取的过程中，需要将基于采集设备下的物体点云数据转换为基于机械臂基座的点云数据，从而可以得到目标位姿。

可选的，上述根据物体点云数据和点云模板数据，确定目标位姿的具体过程可以为：

根据物体点云数据、点云模板数据、预设的点特征直方图及预设的基于采样匹配一致性的特征匹配算法得到目标物体的初始位姿，初始位姿为目标物体基于采集设备的位姿，对初始位姿和物体点云进行迭代计算，得到目标物体的优化，获取采集设备与机械臂的基座之间的目标坐标转换关系，根据优化位姿和目标坐标转换关系确定目标位姿，目标位姿为目标物体基于机械臂的基座的位姿。

其中，初始位姿和优化位姿都是目标物体基于采集设备的位姿，目标位姿为目标物体基于机械臂的基座的位姿。

具体的，对初始位姿和物体点云进行迭代计算，得到目标物体的优化的具体实现过程可以为：将初始位姿的点云数据与目标物体的点云数据进行最近邻点不断进行迭代误差优化计算，当误差达到设定的标准时，输出并得到最优位姿。

可选的，可以采用迭代最近邻点算法，对初始位姿和物体点云进行迭代计算。

在实际实现过程中，会利用预设的点特征直方图及预设的基于采样匹配一致性的特征匹配算法，对物体点云数据和点云模板数据进行匹配，得到目标物体的初始位姿，然后对初始位姿进行优化，得到目标物体的优化位姿，最后根据采集设备与机械臂的基座之间的目标坐标转换关系，将优化位姿转换为目标位姿，并将目标位姿发送给机械臂进行目标物体的抓取。

可选的，上述获取采集设备与机械臂的基座之间的目标坐标转换关系的具体过程可以为：获取物体在各不同位姿下的第一坐标转换关系和对应的第二坐标转换关系，第一坐标转换关系为采集设备与机械臂的抓手之间的坐标转换关系，第二坐标转换关系为基座与抓手之间的坐标转换关系；根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关系。

具体的，根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关系，包括：根据每个第一坐标转换关系和对应的第二坐标转换关系，得到每个第一坐标转换关系对应的第三坐标转换关系；将多个第三坐标转换关系进行最小二乘拟合计算，得到目标坐标转换关系。

进一步的，上述第一坐标转换关系和第二坐标转换关系，可以通过实际标定得到，具体的标定过程可以为：将标定板固定在机械臂上，旋转机械臂将标定板置于相机左眼下方，旋转机械臂，使标定板在相机下方变换不同的位姿，相机拍照记录机械臂不同位姿下的标定板相对于相机的位姿，同时记录下抓手相对于基座的位姿信息，这样就可以得到机械臂不同位姿下的多组标定板相对于相机的位姿及抓手相对于基座的位姿，根据空间关系构建方程组得到第一坐标转换关系。

如图3所示，为本申请实施例提供的基于机械臂的物体抓取过程原理图，整个物体抓取过程可以分为离线模型建立过程和在线实际抓取两个阶段。具体的以抓取的物体为零件进行说明，首先离线模型建立阶段进行了3个建模过程。具体包括：二维相机零部件采集构建AI模型训练样本，得到零件分割模型，二维标定板图片采集，得到相机坐标系与机械臂基座坐标系空间位姿转换模型。三维点云采集，得到每种零件的点云模板。

实际抓取过程，当系统接收到开始工作指令后，相机开始采集零件图片和点云，并将采集到的数据送入深度语义分割模型，经本申请的点云定位分割模块得到目标零件点云；接着将该目标零件点云与模板库中的点云模板做特征匹配，从而得到真实环境场景中目标零件的抓取位姿，并将该抓取位姿经过位姿转换模型得到机械臂基座下的抓取位姿，最后将该实际抓取位姿经过网络传送到远端机械臂执行系统，完成最终的机械臂抓取操作。

本申请提供的基于机械臂的物体抓取方法，针对现有零件点云定位分割方法的不足和存在的问题，通过零件语义分割深度学习模型与零件点云相融合的零件三维空间定位分割方法。与传统所用的基于距离的点云分割方法相比，本申请所提出的方法点云分割的精度更高、效率更快。同时，利用自动标注的方法制作零件语义分割的标签数据集。该方法替代传统的手动标注，极大地提高了零件分割模型训练的效率。以及通过以零件点云特征匹配及两点建系的方法准确估计零件空间6自由度位姿。该点云特征匹配方法可以准确地估计无规则零件的抓取点位及空间三维x,y,z轴的角度。对于任意放置的零件均能准确计算其空间6自由度位姿，远比二维平面角度的垂直抓取方式适用情形更广。从立体位姿角度考虑，本申请方法获得的零件位姿较由平面位姿加景深图融合而得到的立体位姿更加准确。同时以标记2点快速确定零件抓取点位及抓取坐标系。进一步的，基于二维图像的激光点云三维相机的外参标定方法。传统的三维点云相机通过目标物体的点云数据计算三维相机在机械臂底座的位姿，本申请通过左摄像头拍摄目标物体得到的二维图像数据计算其位姿。该方式具备机械臂操作方便、数据获取便捷、二维图像求解效率高的优点。

如图4所示，本申请实施例提供了一种基于机械臂的物体抓取系统，该系统包括：采集设备10、电子设备20和机械臂30；

采集设备10，用于采集目标区域的目标图像和目标点云数据，目标区域包括待抓取的目标物体，并向电子设备发送采集到的目标图像和目标点云数据；

电子设备20，用于接收采集设备发送的目标图像和目标点云数据，目标图像的图像内容中包括待抓取的目标物体，目标点云数据中包括目标物体的物体点云数据；

电子设备20，还用于采用预存的目标分割模型对目标图像进行图像处理，得到区域坐标，区域坐标包括目标物体的各个像素点以及每个像素点的坐标；

电子设备20，还用于根据目标点云数据和区域坐标，确定物体点云数据；

电子设备20，还用于根据物体点云数据确定目标物体的目标位姿，并向机械臂发送目标位姿；

机械臂30，用于根据目标位姿抓取目标物体。

在一个实施例中，电子设备20具体用于：将目标图像输入至目标分割模型中得到目标图像的多个像素区域中各像素区域对应的标签信息，标签信息中包括像素区域对应的标识信息和区域坐标，区域坐标包括多个像素点；

根据像素区域和标识信息的对应关系，确定目标标识信息对应的目标像素区域；

将目标像素区域对应的区域坐标确定为目标区域坐标。

在一个实施例中，电子设备20具体用于：

获取目标图像包括的每个像素点的坐标与每个目标点云数据的坐标之间的映射关系；

根据映射关系确定区域坐标对应的物体点云数据。

在一个实施例中，电子设备20还用于：

获取多个物体的样本图像；

确定每个样本图像的样本像素区域，并确定每个样本图像的每个样本像素区域对应的标签信息，标签信息包括样本像素区域对应的区域坐标和标识信息；

利用多个物体的样本图像和每个样本图像中各像素区域对应的标签信息，对预设的定位分割模型进行训练，得到目标分割模型。

在一个实施例中，电子设备20具体用于：对每个样本图像进行边缘分割处理，得到每个样本图像包括的物体的目标轮廓；

根据每个样本图像对应的目标轮廓，对每个样本图像进行区域划分，得到每个样本图像的第一样本像素区域和第二样本像素区域；

其中，目标轮廓内的像素点形成第一样本像素区域，第二样本像素区域为样本图像中的空白区域。

在一个实施例中，电子设备20具体用于：当第一样本像素区域对应的目标轮廓与预存的像素轮廓匹配成功时，将像素轮廓对应的标识信息作为第一样本像素区域对应的标识信息；

获取第二样本像素区域对应的预设标识信息；

根据像素区域中每个像素点的坐标确定像素区域对应的区域坐标。

在一个实施例中，物体点云数据为目标物体在目标坐标系下的点云数据，目标坐标系为采集设备所使用的坐标系；

电子设备具体用于：

获取目标标识信息对应的点云模板数据，点云模板数据为目标物体在预设坐标系下的点云数据；

根据物体点云数据和点云模板数据，确定目标位姿。

在一个实施例中，电子设备20具体用于：根据物体点云数据、点云模板数据、预设的点特征直方图及预设的基于采样匹配一致性的特征匹配算法得到所述目标物体的初始位姿，初始位姿为目标物体基于采集设备的位姿；

对初始位姿和物体点云进行迭代计算，得到目标物体的优化位姿；

获取采集设备与机械臂的基座之间的目标坐标转换关系；

根据优化位姿和目标坐标转换关系确定目标位姿，目标位姿为目标物体基于机械臂的基座的位姿。

在一个实施例中，电子设备20具体用于：获取物体在各不同位姿下的第一坐标转换关系和对应的第二坐标转换关系，第一坐标转换关系为采集设备与机械臂的抓手之间的坐标转换关系，第二坐标转换关系为基座与抓手之间的坐标转换关系；

根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关系。

在一个实施例中，电子设备20具体用于：根据每个第一坐标转换关系和对应的第二坐标转换关系，得到每个第一坐标转换关系对应的第三坐标转换关系；

将多个第三坐标转换关系进行最小二乘拟合计算，得到目标坐标转换关系。

在一个实施例中，电子设备20还用于：在目标物体的点云数据上选取至少两个点云数据建立预设坐标系；

根据预设坐标系确定点云模板数据。

本申请实施例提供的一种基于机械臂的物体抓取系统，电子设备通过接收采集设备发送的包括待抓取物体的区域的目标图像和目标点云数据，并根据目标物体对应的目标标识信息和预设的目标分割模型，确定目标物体的各个像素点中每个像素点的坐标，然后根据目标点云数据和区域坐标，确定目标物体的物体点云数据，最后根据物体点云数据确定目标物体的目标位姿，并将目标发送给机械臂，以使机械臂根据目标位姿进行目标物体的抓取。本申请由于是利用图像确定的区域坐标，然后根据区域坐标和点云数据得到目标物体的点云数据，而图像数据相较于离散的点云数据连续性更好，因此相较于现有技术中直接利用点云数据得到目标物体的点云，本申请确定的目标物体的点云更加精确，因此能够提高物体的定位精度。

进一步的，本申请由于是对图像进行分割得到目标物体的区域坐标，相较于现有技术中直接对点云数据进行分割，数据处理的效率更高，进而使得物体的定位效率更高。

本实施例提供的基于机械臂的物体抓取系统，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再多加赘述。

关于基于机械臂的物体抓取系统的具体限定可以参见上文中对于基于机械臂的物体抓取方法的限定，在此不再赘述。

本申请的另一实施例中，还提供一种电子设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的基于机械臂的物体抓取方法的步骤。

本申请另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的基于机械臂的物体抓取方法的步骤。

本申请另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方法实施例所示的方法流程中基于机械臂的物体抓取方法执行的各个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state diusk，SSD))等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种基于机械臂的物体抓取方法，其特征在于，所述方法包括：

接收采集设备发送的目标区域的目标图像和目标点云数据，所述目标区域包括待抓取的目标物体；

根据所述目标图像、所述目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标，所述目标区域坐标包括所述目标物体的各个像素点中每个像素点的坐标；

根据所述目标点云数据和所述目标区域坐标，确定所述目标物体的物体点云数据；

根据所述物体点云数据确定所述目标物体的目标位姿；

向机械臂发送所述目标位姿，所述目标位姿用于所述机械臂抓取所述目标物体。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像、所述目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标，包括：

将所述目标图像输入至所述目标分割模型中得到所述目标图像的多个像素区域中各像素区域对应的标签信息，所述标签信息中包括所述像素区域对应的标识信息和区域坐标，所述区域坐标包括多个像素点；

根据像素区域和标识信息的对应关系，确定所述目标标识信息对应的目标像素区域；

将所述目标像素区域对应的区域坐标确定为所述目标区域坐标。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标点云数据和所述目标区域坐标，确定所述目标物体的物体点云数据，包括：

获取所述目标图像包括的每个像素点的坐标与每个所述目标点云数据的坐标之间的映射关系；

根据所述映射关系确定所述区域坐标对应的所述物体点云数据。

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标图像、所述目标物体对应的目标标识信息和预存的目标分割模型，确定目标区域坐标之前，所述方法还包括：

获取多个物体的样本图像；

确定每个样本图像的样本像素区域，并确定每个样本图像的每个样本像素区域对应的标签信息，所述标签信息包括所述样本像素区域对应的区域坐标和标识信息；

利用所述多个物体的样本图像和每个样本图像中各像素区域对应的标签信息，对预设的定位分割模型进行训练，得到所述目标分割模型。

5.根据权利要求4所述的方法，其特征在于，所述确定每个样本图像的样本像素区域，包括：

对每个样本图像进行边缘分割处理，得到每个样本图像包括的物体的目标轮廓；

根据每个样本图像对应的目标轮廓，对每个样本图像进行区域划分，得到每个样本图像的第一样本像素区域和第二样本像素区域；

其中，所述目标轮廓内的像素点形成所述第一样本像素区域，所述第二样本像素区域为所述样本图像中的空白区域。

6.根据权利要求5所述的方法，其特征在于，所述确定每个样本图像的每个样本像素区域对应的标签信息，包括：

当所述第一样本像素区域对应的目标轮廓与预存的像素轮廓匹配成功时，将所述像素轮廓对应的标识信息作为所述第一样本像素区域对应的标识信息；

获取所述第二样本像素区域对应的预设标识信息；

根据像素区域中每个像素点的坐标确定所述像素区域对应的区域坐标。

7.根据权利要求1或2所述的方法，其特征在于，所述物体点云数据为所述目标物体在目标坐标系下的点云数据，所述目标坐标系为所述采集设备所使用的坐标系；

所述根据所述物体点云数据确定所述目标物体的目标位姿，包括：

获取所述目标标识信息对应的点云模板数据，所述点云模板数据为所述目标物体在预设坐标系下的点云数据；

根据所述物体点云数据和所述点云模板数据，确定所述目标位姿。

8.根据权利要求7所述的方法，其特征在于，所述根据所述物体点云数据和所述点云模板数据，确定所述目标位姿，包括：

根据所述物体点云数据、所述点云模板数据、预设的点特征直方图及预设的基于采样匹配一致性的特征匹配算法得到所述目标物体的初始位姿，所述初始位姿为所述目标物体基于所述采集设备的位姿；

对所述初始位姿和所述物体点云进行迭代计算，得到所述目标物体的优化位姿；

获取所述采集设备与所述机械臂的基座之间的目标坐标转换关系；

根据所述优化位姿和所述目标坐标转换关系确定所述目标位姿，所述目标位姿为所述目标物体基于所述机械臂的基座的位姿。

9.根据权利要求8所述的方法，其特征在于，所述获取所述采集设备与所述机械臂的基座之间的目标坐标转换关系，包括：

获取物体在各不同位姿下的第一坐标转换关系和对应的第二坐标转换关系，所述第一坐标转换关系为所述采集设备与所述机械臂的抓手之间的坐标转换关系，所述第二坐标转换关系为所述基座与所述抓手之间的坐标转换关系；

根据每个第一坐标转换关系和对应的第二坐标转换关系，得到所述目标坐标转换关系。

10.根据权利要求9所述的方法，其特征在于，所述根据每个第一坐标转换关系和对应的第二坐标转换关系，得到所述目标坐标转换关系，包括：

根据每个第一坐标转换关系和对应的第二坐标转换关系，得到每个第一坐标转换关系对应的第三坐标转换关系；

将多个第三坐标转换关系进行最小二乘拟合计算，得到所述目标坐标转换关系。

11.根据权利要求7所述的方法，其特征在于，所述获取所述目标物体对应的点云模板之前，所述方法还包括：

在所述目标物体的点云数据上选取至少两个点云数据建立所述预设坐标系；

根据所述预设坐标系确定所述点云模板数据。

12.一种基于机械臂的物体抓取系统，其特征在于，所述系统包括：采集设备、电子设备和机械臂；

所述采集设备，用于采集目标区域的目标图像和目标点云数据，所述目标区域包括待抓取的目标物体，并向所述电子设备发送采集到的目标图像和目标点云数据；

所述电子设备，用于接收所述采集设备发送的目标图像和目标点云数据，所述目标图像的图像内容中包括待抓取的目标物体，所述目标点云数据中包括所述目标物体的物体点云数据；

所述电子设备，还用于采用预存的目标分割模型对所述目标图像进行图像处理，得到区域坐标，所述区域坐标包括所述目标物体的各个像素点以及每个像素点的坐标；

所述电子设备，还用于根据所述目标点云数据和所述区域坐标，确定所述物体点云数据；

所述电子设备，还用于根据所述物体点云数据确定所述目标物体的目标位姿，并向所述机械臂发送所述目标位姿；

所述机械臂，用于根据所述目标位姿抓取所述目标物体。

13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1至11任一项所述的基于机械臂的物体抓取方法。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的基于机械臂的物体抓取方法。

Images