CN112338922B - 一种五轴机械臂抓取放置方法及相关装置 - Google Patents

Abstract

本发明公开了一种五轴机械臂抓取放置方法，通过先获取待抓取物体的物体点云，之后通过抓取姿态检测模型来根据物体点云生成对应的抓取姿态，之后通过运动规划平台根据该抓取姿态对关节值进行规划，可以将抓取姿态检测模型与运动规划平台相结合，可以实时的对环境中不规则物体生成较好的抓取姿态，且不需要预知物体三维模型，也能够对新的物体生成可行的抓取姿态，从而具有较强的通用性。本发明还提供了一种五轴机械臂抓取放置装置、一种五轴机械臂抓取放置设备以及一种计算机可读存储介质，同样具有上述有益效果。

Description

一种五轴机械臂抓取放置方法及相关装置

技术领域

本发明涉及机械臂操控技术领域，特别是涉及一种五轴机械臂抓取放置方法、一种五轴机械臂抓取放置装置、一种五轴机械臂抓取放置设备以及一种计算机可读存储介质。

背景技术

机械臂的抓取和放置是智能机器人的重要功能之一，要求能够自主识别场景中的需要抓取的物体，并自动根据物体、环境、机械臂的位置规划并执行无碰撞的路径，使机械臂能够抓取到物体，然后将物体放置到事先设定的位置，或者自动识别环境中的桌面，判断桌面上的可放置区域，继而规划并执行无碰撞的放置路径，将物体放置到该区域，完成抓取与放置整个流程。

在现阶段，基于ros的开源软件moveit提供了抓取和放置的模板功能包pick andplace pipline以及moveit！Task constructor。该功能包包含抓取放置过程的基本步骤，包括根据机械臂末端执行器需要达到的抓取位姿求逆解，进行无碰撞的路径规划，抓取物体，移动物体和机械臂到指定位姿完成放置过程。

但是在现有技术中，基于moveit运动规划平台仅仅能对规则物体如长方体、圆柱等生成抓取姿态，通用性不强。所以如何提供一种通用性强的五轴机械臂抓取放置方法是本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种五轴机械臂抓取放置方法，具有较强的通用性；本发明的另一目的在于提供一种五轴机械臂抓取放置装置、一种五轴机械臂抓取放置设备以及一种计算机可读存储介质，具有较强的通用性。

为解决上述技术问题，本发明提供一种五轴机械臂抓取放置方法，包括：

通过双目摄像头获取目标区域的二维图像以及深度图像；

根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云；

通过抓取姿态检测模型根据所述物体点云生成对应所述物体点云的抓取姿态；

通过运动规划平台将所述抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；所述第一机械臂关节值为五轴机械臂的关节值，所述第一虚拟底座关节值为虚拟底座的关节值，所述虚拟底座为固定所述五轴机械臂的底座平台虚拟成的关节；

通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台；

通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体；

通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域。

可选的，所述通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台包括：

根据所述第一虚拟底座关节值正解出所述底座平台的第一底座位姿；

根据所述第一底座位姿逆解出所述底座平台各个移动关节的底座平台关节值；所述底座平台设置有多个移动关节，多个所述移动关节为并联结构；

根据所述第一底座平台关节值正解出所述底座平台的第二底座位姿；

根据所述第二底座位姿逆解出所述虚拟底座的第二虚拟底座关节值；

通过所述运动规划平台根据所述第二底座位姿和所述第二虚拟底座关节值移动所述底座平台。

可选的，通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体包括：

当无法通过所述第一机械臂关节值抓取所述待抓取物体时，通过五轴逆解工具以抓取准备位姿为目标计算第二机械臂关节值；

通过所述运动规划平台根据所述第二机械臂关节值抓取所述待抓取物体。

可选的，通过五轴逆解工具以抓取准备位姿为目标计算第二机械臂关节值包括：

调用五轴逆解工具，通过多组初值计算多个第二机械臂关节值；

所述通过所述运动规划平台根据所述第二机械臂关节值抓取所述待抓取物体包括：

通过所述运动规划平台根据多个所述第二机械臂关节值计算无碰撞路径；

根据所述无碰撞路径抓取所述待抓取物体。

可选的，在所述根据所述无碰撞路径抓取所述待抓取物体之后，还包括：

从多个预设方向选取无碰撞的预设方向作为目标方向，沿所述目标方向移动所述待抓取物体预设距离。

可选的，所述根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云包括：

通过物体识别模型识别所述二维图像中的待抓取物体，生成对应所述待抓取物体的识别框；

调用点云分割模型，根据所述二维图像、所述深度图像以及所述识别框，识别所述识别框内对应待抓取物体的物体点云。

可选的，在所述通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域之前，还包括：

根据所述二维图像和所述深度图像获取环境点云；

所述通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域包括：

通过PCL平面分割模型根据所述环境点云检测环境中的平面；

从所述平面选取无碰撞的可行放置区域；

通过所述运动规划平台将抓取的所述待抓取物体移动并放置在所述可行放置区域。

本发明还提供了一种五轴机械臂抓取放置装置，包括：

图像获取模块：用于通过双目摄像头获取目标区域的二维图像以及深度图像；

物体点云模块：用于根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云；

抓取姿态生成模块：用于通过抓取姿态检测模型根据所述物体点云生成对应所述物体点云的抓取姿态；

规划模块：用于通过运动规划平台将所述抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；所述第一机械臂关节值为五轴机械臂的关节值，所述第一虚拟底座关节值为虚拟底座的关节值，所述虚拟底座为固定所述五轴机械臂的底座平台虚拟成的关节；

移动模块：用于通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台；

抓取模块：用于通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体；

放置模块：用于通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域。

本发明还提供了一种五轴机械臂抓取放置设备，所述设备包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序时实现如上述任一项所述五轴机械臂抓取放置方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述五轴机械臂抓取放置方法的步骤。

本发明所提供的一种五轴机械臂抓取放置方法，包括通过双目摄像头获取目标区域的二维图像以及深度图像；根据二维图像和深度图像生成目标区域内待抓取物体的物体点云；通过抓取姿态检测模型根据物体点云生成对应物体点云的抓取姿态；通过运动规划平台将抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；第一机械臂关节值为五轴机械臂的关节值，第一虚拟底座关节值为虚拟底座的关节值，虚拟底座为固定五轴机械臂的底座平台虚拟成的关节；通过运动规划平台根据第一虚拟底座关节值移动底座平台；通过运动规划平台根据第一机械臂关节值抓取待抓取物体；通过运动规划平台将抓取的待抓取物体放置在可行放置区域。

通过先获取待抓取物体的物体点云，之后通过抓取姿态检测模型(Grasp PoseDetection，GPD)来根据物体点云生成对应的抓取姿态，之后通过运动规划平台(moveIt！)根据该抓取姿态对关节值进行规划，可以将抓取姿态检测模型与运动规划平台相结合，可以实时的对环境中不规则物体生成较好的抓取姿态，且不需要预知物体三维模型，也能够对新的物体生成可行的抓取姿态，从而具有较强的通用性。

本发明还提供了一种五轴机械臂抓取放置装置、一种五轴机械臂抓取放置设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种五轴机械臂抓取放置方法的流程图；

图2为本发明实施例所提供的一种具体的五轴机械臂抓取放置方法的流程图；

图3为本发明实施例所提供的一种五轴机械臂抓取放置装置的结构框图；

图4为本发明实施例所提供的一种五轴机械臂抓取放置设备的结构框图。

具体实施方式

本发明的核心是提供一种五轴机械臂抓取放置方法。在现有技术中，基于moveit运动规划平台仅仅能对规则物体如长方体、圆柱等生成抓取姿态，通用性不强。

而本发明所提供的一种五轴机械臂抓取放置方法，包括通过双目摄像头获取目标区域的二维图像以及深度图像；根据二维图像和深度图像生成目标区域内待抓取物体的物体点云；通过抓取姿态检测模型根据物体点云生成对应物体点云的抓取姿态；通过运动规划平台将抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；第一机械臂关节值为五轴机械臂的关节值，第一虚拟底座关节值为虚拟底座的关节值，虚拟底座为固定五轴机械臂的底座平台虚拟成的关节；通过运动规划平台根据第一虚拟底座关节值移动底座平台；通过运动规划平台根据第一机械臂关节值抓取待抓取物体；通过运动规划平台将抓取的待抓取物体放置在可行放置区域。

通过先获取待抓取物体的物体点云，之后通过抓取姿态检测模型来根据物体点云生成对应的抓取姿态，之后通过运动规划平台根据该抓取姿态对关节值进行规划，可以将抓取姿态检测模型与运动规划平台相结合，可以实时的对环境中不规则物体生成较好的抓取姿态，且不需要预知物体三维模型，也能够对新的物体生成可行的抓取姿态，从而具有较强的通用性。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种五轴机械臂抓取放置方法的流程图。

参见图1，在本发明实施例中，五轴机械臂抓取放置方法包括：

S101：通过双目摄像头获取目标区域的二维图像以及深度图像。

有关双目摄像头的具体结构可以参考现有技术，在此不再进行赘述。在本步骤中，会通过双目摄像头获取目标区域的二维图像以及深度图像，待抓取物体通常会处在开目标区域中，该二维图像通常为二维RGB图像，即彩色图像，该二维图像通常包含场景中各个点的(x，y)信息；而深度图像通常包含场景中各个点的距离信息(z)，利用上述信息以及双目摄像头的内参矩阵通过变换即可得到场景中各个点在相机或世界坐标系下的实际坐标xyz，从而可以生成场景的点云。

需要说明的是，在本发明实施例中上述二维图像、深度图像等信息通常是被实时处理，以确保五轴机械臂抓取放置过程中及时适应环境变化。

S102：根据二维图像和深度图像生成目标区域内待抓取物体的物体点云。

在本步骤中，具体可以根据上述二维图像和深度图像生成目标区域内待抓取物体的物体点云，该物体点云可以表征待抓取物体在三维空间内的参数，例如体积、形状等。有关物体点云生成的具体过程将在下述发明实施例中做详细介绍，在此不再进行赘述。

S103：通过抓取姿态检测模型根据物体点云生成对应物体点云的抓取姿态。

在本发明实施例中，该抓取姿态检测模型即GPD(Grasp Pose Detection)模型，在本步骤中抓取姿态检测模型会针对物体点云生成抓取姿态，以便在下述步骤中实现对五轴机械臂的控制。在本发明实施例中，抓取姿态检测模型与运动规划平台自身的抓取防止方案相比，能够实时的对环境中不规则物体生成较好的抓取姿态，且不需要预知物体三维模型，也能够对新的物体生成可行的抓取姿态。

S104：通过运动规划平台将抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值。

在本发明实施例中，所述第一机械臂关节值为五轴机械臂的关节值，所述第一虚拟底座关节值为虚拟底座的关节值，所述虚拟底座为固定所述五轴机械臂的底座平台虚拟成的关节。

在本步骤中，首先会将上述S103中得到的抓取姿态作为五轴机械臂中末端执行器的目标姿态，通过运动规划平台，即moveIt！去规划第一虚拟底座关节值和第一机械臂关节值。其中，第一机械臂关节值通常包括5个关节值，对应五轴机械臂自身各个实体关节的关节值，运动规划平台在后续步骤中可以根据该第一机械臂关节值控制五轴机械臂的姿态。而上述第一虚拟底座关节值具体对应底座平台，该底座平台具体用于固定五轴机械臂，同时底座平台通常还负责整体移动五轴机械臂。而在本发明实施例中，底座平台通常具有6个运动自由度，相应的该第一虚拟底座关节值通常包括6个关节值，即本步骤中通常会通过运动规划平台具体规划出6+5个关节值，而上述虚拟底座通常由6个虚拟关节串联构成。

S105：通过运动规划平台根据第一虚拟底座关节值移动底座平台。

在本步骤中，可以通过运动规划平台根据第一虚拟底座关节值移动底座平台，具体的通常会先用第一虚拟底座关节值正解出底座平台的位姿，然后基于该位姿逆解出底座平台的真实关节值，最终根据该真实关节值控制底座平台运动。有关本步骤的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。

S106：通过运动规划平台根据第一机械臂关节值抓取待抓取物体。

在本步骤中，可以通过运动规划平台根据第一机械臂关节值操控五轴机械臂的各个关节，以最终抓取到待抓取物体。由于五轴机械臂的模型与真实机械臂是直接对应的，因此在本步骤中可以直接通过该第一机械臂关节值控制五轴机械臂运动。有关本步骤的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。

S107：通过运动规划平台将抓取的待抓取物体放置在可行放置区域。

在本步骤中，会通过运动规划平台将抓取到的待抓取物体放置在可行放置区域。有关本步骤的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。

本发明实施例所提供的一种五轴机械臂抓取放置方法，包括通过双目摄像头获取目标区域的二维图像以及深度图像；根据二维图像和深度图像生成目标区域内待抓取物体的物体点云；通过抓取姿态检测模型根据物体点云生成对应物体点云的抓取姿态；通过运动规划平台将抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；第一机械臂关节值为五轴机械臂的关节值，第一虚拟底座关节值为虚拟底座的关节值，虚拟底座为固定五轴机械臂的底座平台虚拟成的关节；通过运动规划平台根据第一虚拟底座关节值移动底座平台；通过运动规划平台根据第一机械臂关节值抓取待抓取物体；通过运动规划平台将抓取的待抓取物体放置在可行放置区域。

通过先获取待抓取物体的物体点云，之后通过抓取姿态检测模型来根据物体点云生成对应的抓取姿态，之后通过运动规划平台根据该抓取姿态对关节值进行规划，可以将抓取姿态检测模型与运动规划平台相结合，可以实时的对环境中不规则物体生成较好的抓取姿态，且不需要预知物体三维模型，也能够对新的物体生成可行的抓取姿态，从而具有较强的通用性。

有关本发明所提供的一种五轴机械臂抓取放置方法的具体内容将在下述发明实施例中做详细介绍。

请参考图2，图2为本发明实施例所提供的一种具体的五轴机械臂抓取放置方法的流程图。

参见图2，在本发明实施例中，五轴机械臂抓取放置方法包括：

S201：通过双目摄像头获取目标区域的二维图像以及深度图像。

本步骤与上述发明实施例中S101基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。

S202：通过物体识别模型识别二维图像中的待抓取物体，生成对应待抓取物体的识别框。

在本步骤中，具体会通过物体识别模型，即YOLO模型识别二维图像中的待抓取物体，通过YOLO模型可以生成以识别框，该识别框通常为矩形，囊括二维图像中的待抓取物体。有关YOLO模型的具体内容可以参考现有技术，在此不再进行赘述。

S203：调用点云分割模型，根据二维图像、深度图像以及识别框，识别识别框内对应待抓取物体的物体点云。

上述点云分割模型即rail segmentation模型，在本步骤中，具体会根据上述二维图像、深度图像以及识别框，首先生成所述识别框内二维图像的点云数据，之后会通过点云分割模型对上述识别框内的点云数据进行精细分割，获取属于待抓取物体的点云，即物体点云，通常还能同时获取待抓取物体在环境中的物体位姿，而该物体位姿通常会在后续抓取到待抓取物体之后，移动待抓取物体时所使用。

通常情况下，在本步骤中还可以根据所述二维图像和所述深度图像获取环境点云，即对应二维图像中非待抓取物体所占区域的点云数据，该环境点云通常为上述二维图像中位于识别框之外的区域的点云数据。

在本发明实施例中，除了上述通过将YOLO模型与rail segmentation模型相结合获取物体点云的方法之外，还可以具体先对上述二维图像进行精细分割得到待抓取物体的图像，在结合深度图像获取对应待抓取物体的物体点云。有关该物体点云具体获取方法可以根据实际情况自行设定，在此不做具体限定。而上述结合YOLO模型与rail segmentation模型，先通过YOLO模型进行粗分割，再通过rail segmentation模型进行精细分割的方案，可以更加快速的获取到物体点云。

S204：通过抓取姿态检测模型根据物体点云生成对应物体点云的抓取姿态。

具体的，在本步骤中抓取姿态检测模型会接收上述物体点云和环境点云，生成针对物体点云的抓取姿态，而上述环境点云在本步骤中的作用在于避免抓取姿态检测模型对物体点云生成的抓取姿态与环境中其他东西相碰撞。

本步骤的其余内容已在上述发明实施例中做详细介绍，在此不再进行赘述。

S205：通过运动规划平台将抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值。

本步骤与上述发明实施例中S104基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。

S206：根据第一虚拟底座关节值正解出底座平台的第一底座位姿。

有关正解算法以及逆解算法的具体内容可以参考现有技术，在此不再进行赘述。在本步骤中，具体会根据第一虚拟底座关节值正解出底座平台的第一底座位姿，以便在后续步骤中移动底座平台。

S207：根据第一底座位姿逆解出底座平台各个移动关节的底座平台关节值。

在本发明实施例中，所述底座平台设置有多个移动关节，多个所述移动关节为并联结构。例如，在本发明实施例中通常设置有三个移动关节，该三个移动关节呈并联结构，用于实现底座平台6自由度运动。由于在现阶段moveIt！运动规划平台无法规划并联结构，因此在本发明实施例中需要用6个虚拟的串联关节替代这3个实际的移动关节。而在本步骤中，具体会根据第一底座位姿逆解出底座平台各个移动关节的底座平台关节值。

S208：根据第一底座平台关节值正解出底座平台的第二底座位姿。

S209：根据第二底座位姿逆解出虚拟底座的第二虚拟底座关节值。

在本发明实施例中，由于因为6个虚拟关节串联而成的结构与实际并联关节所形成的结构并不是完全等价，其可行的工作空间略有不同，因此在实际执行上述S205至S206，用串联的虚拟关节正解出的第一底座位姿去逆解出的并联移动关节的底座平台关节值必须允许一定的误差才会有较大成功率有解，这也导致了底座平台实际达到的位姿和S205中规划的第一虚拟底座关节值对应的位姿有差别。因此需要反过来修正这6个虚拟关节的关节值，具需要反过来修正第一虚拟底座关节值。

具体的，上述S208至S209的过程相当于S207至S206的逆过程的，S209生成的第二虚拟底座关节值相当于对第一虚拟底座关节值的修正。因此，上述S208至S209的具体内容请参考上述发明实施例，在此不再进行赘述。

S210：通过运动规划平台根据第二底座位姿和第二虚拟底座关节值移动底座平台。

本步骤与上述发明实施例中S105基本类似，只是将第一虚拟底座关节值更换为第二底座位姿和第二虚拟底座关节值，因此，详细内容请参考上述发明实施例，在此不再进行赘述。

S211：当无法通过第一机械臂关节值抓取待抓取物体时，通过五轴逆解工具以抓取准备位姿为目标计算第二机械臂关节值。

该抓取准备位姿通常为五轴机械臂的初始位姿，在本发明实施例中，首先会根据上述第一机械臂关节值规划无碰撞路径。若无法规划出无碰撞路径，即无法通过第一机械臂关节值抓取待抓取物体时，在本步骤中可以通过五轴逆解工具以抓取准备位姿为目标，逆解五轴机械臂的关节值，即第二机械臂关节值。

具体的，本步骤通常具体为：调用五轴逆解工具，通过多组初值计算多个第二机械臂关节值。由于在通过五轴逆解工具进行逆解的过程中会允许目标姿态有一定的偏差，因此在本步骤中，具体会尝试多组不同初值提高逆解成功率。

S212：通过运动规划平台根据第二机械臂关节值抓取待抓取物体。

在本步骤中，具体会通过运动规划平台根据第二机械臂关节值规划出无碰撞路径，之后基于该无碰撞路径控制五轴机械臂抓取待抓取物体。

具体的，当在S211中获取到多个第二机械臂关节值时，则本步骤具体会先通过所述运动规划平台根据多个所述第二机械臂关节值计算无碰撞路径，以保证该无碰撞路径规划的成功率；之后再根据所述无碰撞路径抓取所述待抓取物体。

具体的，在本步骤中通常会利用MoveIt！规划从抓取准备姿态到抓取姿态的直线路径并执行。本发明实施例中的直线规划同样利用有允许误差的五轴逆解算法，使得规划成功率相比moveit自带工具有较大提升。

在本步骤中通常需要闭合夹爪抓住待抓取物体，并沿直线移动该待抓取物体一小段距离。在本发明实施例中，具体会从多个预设方向选取无碰撞的预设方向作为目标方向，沿所述目标方向移动所述待抓取物体预设距离。即在本发明实施例中允许尝试多个直线移动方向以避免与环境碰撞，提高抓取的成功率。而moveIt！通常仅仅会沿垂直方向，或沿指向抓取准备姿态方向以直线移动待抓取物体预设距离，这会导致有很大概率碰撞环境中的物体。

S213：通过PCL平面分割模型根据环境点云检测环境中的平面。

在本步骤中，具体会通过PCL(Point Cloud Library)平面分割模型从上述环境点云检测环境中的平面，通常为桌面。该平面主要用于摆放待抓取物体。

S214：从平面选取无碰撞的可行放置区域。

在本步骤中，会选取平面内没有其他物体的区域作为可行放置区域。具体的，在本发明实施例中通常会在平面内自动选取距离五轴机械臂最近、且和平面上其他物体无碰撞的区域作为可行放置区域。

S215：通过运动规划平台将抓取的待抓取物体移动并放置在可行放置区域。

在本步骤中，会通过运动规划平台将待抓取物体移动并放置在S214中确定的可行放置区域。需要说明的是，在此处移动待抓取物体时，需要保证五轴机械臂以及待抓取物体不会碰撞到环境中的物体，因此在本步骤规划路径的过程中，需要把待抓取物体作为五轴机械臂的一部分一起规划，这样就需要知道待抓取物体相对于五轴机械臂的位置、姿态和体积、形状。其中此处规划所使用的姿态即为S203中提到的物体位姿，体积可通过物体点云大小估算，形状则一般选取简单形状，如立方体，圆柱等。

需要说明的是，在放置待抓取物体时，具体可以结合力传感器以及力控算法实现待抓取物体的平稳放置。有关力控算法的具体内容可以参考现有技术，在此不再进行赘述。在本步骤之后，通常会使得五轴机械臂返回至初始姿态，以便于下次抓取任务的执行。

本发明实施例所提供的一种五轴机械臂抓取放置方法，通过先获取待抓取物体的物体点云，之后通过抓取姿态检测模型来根据物体点云生成对应的抓取姿态，之后通过运动规划平台根据该抓取姿态对关节值进行规划，可以将抓取姿态检测模型与运动规划平台相结合，可以实时的对环境中不规则物体生成较好的抓取姿态，且不需要预知物体三维模型，也能够对新的物体生成可行的抓取姿态，从而具有较强的通用性。

下面对本发明实施例所提供的一种五轴机械臂抓取放置装置进行介绍，下文描述的五轴机械臂抓取放置装置与上文描述的五轴机械臂抓取放置方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的一种五轴机械臂抓取放置装置的结构框图。

参见图3，在本发明实施例中，五轴机械臂抓取放置装置可以包括：

图像获取模块100：用于通过双目摄像头获取目标区域的二维图像以及深度图像。

物体点云模块200：用于根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云。

抓取姿态生成模块300：用于通过抓取姿态检测模型根据所述物体点云生成对应所述物体点云的抓取姿态。

规划模块400：用于通过运动规划平台将所述抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；所述第一机械臂关节值为五轴机械臂的关节值，所述第一虚拟底座关节值为虚拟底座的关节值，所述虚拟底座为固定所述五轴机械臂的底座平台虚拟成的关节。

移动模块500：用于通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台。

抓取模块600：用于通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体。

放置模块700：用于通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域。

作为优选的，在本发明实施例中，移动模块500包括：

第一底座位姿单元：用于根据所述第一虚拟底座关节值正解出所述底座平台的第一底座位姿。

底座平台关节值单元：用于根据所述第一底座位姿逆解出所述底座平台各个移动关节的底座平台关节值；所述底座平台设置有多个移动关节，多个所述移动关节为并联结构。

第二底座位姿单元：用于根据所述第一底座平台关节值正解出所述底座平台的第二底座位姿。

第二虚拟底座关节值单元：用于根据所述第二底座位姿逆解出所述虚拟底座的第二虚拟底座关节值。

移动单元：用于通过所述运动规划平台根据所述第二底座位姿和所述第二虚拟底座关节值移动所述底座平台。

作为优选的，在本发明实施例中，抓取模块600包括：

逆解单元：用于当无法通过所述第一机械臂关节值抓取所述待抓取物体时，通过五轴逆解工具以抓取准备位姿为目标计算第二机械臂关节值。

抓取单元：用于通过所述运动规划平台根据所述第二机械臂关节值抓取所述待抓取物体。

作为优选的，在本发明实施例中，逆解单元具体用于：

调用五轴逆解工具，通过多组初值计算多个第二机械臂关节值。

抓取单元包括：

路径规划子单元：用于通过所述运动规划平台根据多个所述第二机械臂关节值计算无碰撞路径。

抓取子单元：用于根据所述无碰撞路径抓取所述待抓取物体。

作为优选的，在本发明实施例中，还包括：

抓取移动模块：用于从多个预设方向选取无碰撞的预设方向作为目标方向，沿所述目标方向移动所述待抓取物体预设距离。

作为优选的，在本发明实施例中，物体点云模块200包括：

识别单元：用于通过物体识别模型识别所述二维图像中的待抓取物体，生成对应所述待抓取物体的识别框。

分割单元：用于调用点云分割模型，根据所述二维图像、所述深度图像以及所述识别框，识别所述识别框内对应待抓取物体的物体点云。

作为优选的，在本发明实施例中，还包括：

环境点云模块：用于根据所述二维图像和所述深度图像获取环境点云。

放置模块700包括：

PCL单元：用于通过PCL平面分割模型根据所述环境点云检测环境中的平面。

选取单元：用于从所述平面选取无碰撞的可行放置区域；

放置单元：用于通过所述运动规划平台将抓取的所述待抓取物体移动并放置在所述可行放置区域。

本实施例的五轴机械臂抓取放置装置用于实现前述的五轴机械臂抓取放置方法，因此五轴机械臂抓取放置装置中的具体实施方式可见前文中五轴机械臂抓取放置方法的实施例部分，例如，图像获取模块100，物体点云模块200，抓取姿态生成模块300，规划模块400，移动模块500，抓取模块600，放置模块700分别用于实现上述五轴机械臂抓取放置方法中步骤S101至S107，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

下面对本发明实施例提供的一种五轴机械臂抓取放置设备进行介绍，下文描述的五轴机械臂抓取放置设备与上文描述的五轴机械臂抓取放置方法以及五轴机械臂抓取放置装置可相互对应参照。

请参考图4，图4为本发明实施例所提供的一种五轴机械臂抓取放置设备的结构框图。

参照图4，该五轴机械臂抓取放置设备可以包括处理器11和存储器12。

所述存储器12用于存储计算机程序；所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的五轴机械臂抓取放置方法。

本实施例的五轴机械臂抓取放置设备中处理器11用于安装上述发明实施例中所述的五轴机械臂抓取放置装置，同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的五轴机械臂抓取放置方法。因此五轴机械臂抓取放置设备中的具体实施方式可见前文中的五轴机械臂抓取放置方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种五轴机械臂抓取放置方法。其余内容可以参照现有技术，在此不再进行展开描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种五轴机械臂抓取放置方法、一种五轴机械臂抓取放置装置、一种五轴机械臂抓取放置设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种五轴机械臂抓取放置方法，其特征在于，包括：

通过双目摄像头获取目标区域的二维图像以及深度图像；

根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云；

通过抓取姿态检测模型根据所述物体点云生成对应所述物体点云的抓取姿态；

通过运动规划平台将所述抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；所述第一机械臂关节值为五轴机械臂的关节值，所述第一虚拟底座关节值为虚拟底座的关节值，所述虚拟底座为固定所述五轴机械臂的底座平台虚拟成的关节；

通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台；

通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体；

通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域；

所述通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台包括：

根据所述第一虚拟底座关节值正解出所述底座平台的第一底座位姿；

根据所述第一底座位姿逆解出所述底座平台各个移动关节的底座平台关节值；所述底座平台设置有多个移动关节，多个所述移动关节为并联结构；

根据所述底座平台关节值正解出所述底座平台的第二底座位姿；

根据所述第二底座位姿逆解出所述虚拟底座的第二虚拟底座关节值；

通过所述运动规划平台根据所述第二底座位姿和所述第二虚拟底座关节值移动所述底座平台；

并联结构的所述移动关节用于实现底座平台6自由度运动，所述虚拟底座为串联的6个虚拟关节以替代所述移动关节。

2.根据权利要求1所述的方法，其特征在于，通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体包括：

当无法通过所述第一机械臂关节值抓取所述待抓取物体时，通过五轴逆解工具以抓取准备位姿为目标计算第二机械臂关节值；

通过所述运动规划平台根据所述第二机械臂关节值抓取所述待抓取物体。

3.根据权利要求2所述的方法，其特征在于，通过五轴逆解工具以抓取准备位姿为目标计算第二机械臂关节值包括：

调用五轴逆解工具，通过多组初值计算多个第二机械臂关节值；

所述通过所述运动规划平台根据所述第二机械臂关节值抓取所述待抓取物体包括：

通过所述运动规划平台根据多个所述第二机械臂关节值计算无碰撞路径；

根据所述无碰撞路径抓取所述待抓取物体。

4.根据权利要求3所述的方法，其特征在于，在所述根据所述无碰撞路径抓取所述待抓取物体之后，还包括：

从多个预设方向选取无碰撞的预设方向作为目标方向，沿所述目标方向移动所述待抓取物体预设距离。

5.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云包括：

通过物体识别模型识别所述二维图像中的待抓取物体，生成对应所述待抓取物体的识别框；

调用点云分割模型，根据所述二维图像、所述深度图像以及所述识别框，识别所述识别框内对应待抓取物体的物体点云。

6.根据权利要求1所述的方法，其特征在于，在所述通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域之前，还包括：

根据所述二维图像和所述深度图像获取环境点云；

所述通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域包括：

通过PCL平面分割模型根据所述环境点云检测环境中的平面；

从所述平面选取无碰撞的可行放置区域；

通过所述运动规划平台将抓取的所述待抓取物体移动并放置在所述可行放置区域。

7.一种五轴机械臂抓取放置装置，其特征在于，包括：

图像获取模块：用于通过双目摄像头获取目标区域的二维图像以及深度图像；

物体点云模块：用于根据所述二维图像和所述深度图像生成所述目标区域内待抓取物体的物体点云；

抓取姿态生成模块：用于通过抓取姿态检测模型根据所述物体点云生成对应所述物体点云的抓取姿态；

规划模块：用于通过运动规划平台将所述抓取姿态作为五轴机械臂中末端执行器的目标姿态，规划第一虚拟底座关节值和第一机械臂关节值；所述第一机械臂关节值为五轴机械臂的关节值，所述第一虚拟底座关节值为虚拟底座的关节值，所述虚拟底座为固定所述五轴机械臂的底座平台虚拟成的关节；

移动模块：用于通过所述运动规划平台根据所述第一虚拟底座关节值移动所述底座平台；

抓取模块：用于通过所述运动规划平台根据所述第一机械臂关节值抓取所述待抓取物体；

放置模块：用于通过所述运动规划平台将抓取的所述待抓取物体放置在可行放置区域；

所述移动模块包括：

第一底座位姿单元，用于根据所述第一虚拟底座关节值正解出所述底座平台的第一底座位姿；

底座平台关节值单元，用于根据所述第一底座位姿逆解出所述底座平台各个移动关节的底座平台关节值；所述底座平台设置有多个移动关节，多个所述移动关节为并联结构；

第二底座位姿单元，用于根据所述底座平台关节值正解出所述底座平台的第二底座位姿；

第二虚拟底座关节值单元，用于根据所述第二底座位姿逆解出所述虚拟底座的第二虚拟底座关节值；

移动单元，用于通过所述运动规划平台根据所述第二底座位姿和所述第二虚拟底座关节值移动所述底座平台；

并联结构的所述移动关节用于实现底座平台6自由度运动，所述虚拟底座为串联的6个虚拟关节以替代所述移动关节。

8.一种五轴机械臂抓取放置设备，其特征在于，所述设备包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序时实现如权利要求1至6任一项所述五轴机械臂抓取放置方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述五轴机械臂抓取放置方法的步骤。

Images