CN112053398B - 物体抓取方法、装置、计算设备和存储介质 - Google Patents

Abstract

本申请公开了一种物体抓取方法、装置、计算设备和存储介质。用于解决相关技术中对物体的抓取效率有待提高的问题。该方法中、考虑控制器规划操作路径和机械臂执行的并行实现方案，即在机械臂移除预设监控范围时，将下一目标物体的操作路径发送给机械臂，以使机械臂完成当前目标物体的抓取时，能够无需等待即可执行下一目标物体的抓取，实现了机械臂连续抓取，提高了物体抓取效率。

Description

物体抓取方法、装置、计算设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种物体抓取方法、装置、计算设备和存储介质。

背景技术

目前，随着自动化水平的不断提高，机器人已经广泛用于食品、药品、电子行业的包装、分拣与装配过程中。通过机器视觉技术与工业机器人在生产中的结合，能够更好的应用于各种流水线作业，完成对不同形状和状态的物体抓取和搬运，极大地提升了生产效率。

相关技术，通过3D(三维)视觉相机得到场景中包裹的姿态信息，按照包裹表面中心高度、姿态方向等信息，由路径规划程序/线程根据视觉输出的结果规划出机械臂的操作路径来引导机器人运动并控制抓取执行器动作，完成对包裹的抓取。然而现有技术中还会存在物体抓取效率低的问题。

发明内容

本申请的目的是提供一种物体抓取方法、装置、计算设备和存储介质，用于解决相关技术中包裹抓取失败的问题。

第一方面，本申请实施例提供了一种物体抓取方法，包括：

对任意目标物体，将所述目标物体的操作路径发送给机械臂；以使所述机械臂根据所述操作路径抓取所述目标物体并将所述目标物体放置到放置位置；

监控所述机械臂的位置；

当所述机械臂移出预设监控范围时，将下一目标物体的操作路径发送给所述机械臂。

在一个实施例中，所述预设监控范围为深度像机的拍摄范围，所述将所述目标物体的操作路径发送给机械臂之前，所述方法还包括：

根据以下方法规划所述目标物体的操作路径：

通过所述深度像机对所述预设监控范围进行图像采集，得到深度图像；

对所述深度图像进行图像分析，获得所述目标物体的位置和姿态；

根据所述放置位置、所述目标物体的位置和姿态，规划所述目标物体的操作路径，所述操作路径中包括抓取点、前置点和抬高点；

所述抓取点用于抓取所述目标物体，且位于所述目标物体上；

所述前置点用于抓取所述目标物体，且位于所述目标物体的表面的法线方向上；

所述抬高点用于避免机械臂将所述目标物体放置到放置位置的过程中碰撞到其他物体。

在一个实施例中，所述规划所述目标物体的操作路径中的所述目标物体的抓取点，包括：

根据所述目标物体的所述位置和所述姿态确定所述目标物体的抓取平面；

识别所述抓取平面的中心点；

多次移动所述中心点，得到多个中心点；

以各个中心点为候选抓取点，确定在各候选抓取点抓取所述目标物体时所述机械臂的抓取执行器与所述抓取平面的接触面积；

根据预设的接触面积与抓取成功率曲线，选取抓取成功率最高的候选抓取点作为所述目标物体的抓取点。

在一个实施例中，所述抬高点的高度供所述机械臂将所述目标物体移动到所述预设监控范围的边界处的过程中保持所述抬高点的高度。

在一个实施例中，所述方法还包括：

根据以下方法确定所述抬高点的高度：

检测探测区域内各物体的高度；其中所述探测区域为从所述抓取点至所述放置位置之间的操作路径段所在的预设区域范围；

从检测的各高度中筛选出最高高度，并确定所述抬高点的高度为以下高度参数之和：

物体的高度上限、所述最高高度、预设的机械臂最小抬高高度。

在一个实施例中，所述放置位置为指定的放置区域，所述方法还包括：

当监控到所述机械臂移动到所述放置区域内时，发送释放指令给所述机械臂以使所述机械臂控制抓取执行器释放所述目标物体。

第二方面，本申请实施例还提供一种物体抓取方法，所述方法包括：

接收控制器发送的目标物体的操作路径；所述操作路径用于抓取所述目标物体并将所述目标物体放置到放置位置；

执行所述操作路径时，接收所述控制器下发的下一个目标物体的操作路径；

其中，所述控制器是在监控到机械臂移出预设监控范围时下发的。

在一个实施例中，所述操作路径中包括抓取点和抬高点，所述执行所述操作路径包括：

根据所述抓取点抓取所述目标物体；

抓取所述目标物体后抬高到所述抬高点的高度将所述目标物体投放到所述放置位置。

在一个实施例中，所述放置位置为放置区域，所述将所述目标物体放置到放置位置，包括：

当移动到所述放置区域时，接收并响应控制器下发的释放指令控制抓取执行器释放所述目标物体。

在一个实施例中，在释放所述目标物体之后：

减速至指定速度，所述指定速度大于预设速度阈值。

第三方面，本申请实施例还提供一种物体抓取装置，所述装置包括：

发送模块，用于对任意目标物体，将所述目标物体的操作路径发送给机械臂；以使所述机械臂根据所述操作路径抓取所述目标物体并将所述目标物体放置到放置位置；

监控模块，用于监控所述机械臂的位置；

所述发送模块，还用于当所述机械臂移出预设监控范围时，将下一目标物体的操作路径发送给所述机械臂。

在一个实施例中，所述预设监控范围为深度像机的拍摄范围，所述装置还包括：

路径规划模块，用于在所述发送模块将所述目标物体的操作路径发送给机械臂之前，根据以下方法规划所述目标物体的操作路径：

通过所述深度像机对所述预设监控范围进行图像采集，得到深度图像；

对所述深度图像进行图像分析，获得所述目标物体的位置和姿态；

根据所述放置位置、所述目标物体的位置和姿态，规划所述目标物体的操作路径，所述操作路径中包括抓取点、前置点和抬高点；

所述抓取点用于抓取所述目标物体，且位于所述目标物体上；

所述前置点用于抓取所述目标物体，且位于所述目标物体的表面的法线方向上；

所述抬高点用于避免机械臂将所述目标物体放置到放置位置的过程中碰撞到其他物体。

在一个实施例中，所述路径规划模块，用于根据以下方法规划所述目标物体的操作路径中的所述目标物体的抓取点：

根据所述目标物体的所述位置和所述姿态确定所述目标物体的抓取平面；

识别所述抓取平面的中心点；

多次移动所述中心点，得到多个中心点；

以各个中心点为候选抓取点，确定在各候选抓取点抓取所述目标物体时所述机械臂的抓取执行器与所述抓取平面的接触面积；

根据预设的接触面积与抓取成功率曲线，选取抓取成功率最高的候选抓取点作为所述目标物体的抓取点。

在一个实施例中，所述抬高点的高度供所述机械臂将所述目标物体移动到所述预设监控范围的边界处的过程中保持所述抬高点的高度。

在一个实施例中，所述路径规划模块，还用于：

根据以下方法确定所述抬高点的高度：

检测探测区域内各物体的高度；其中所述探测区域为从所述抓取点至所述放置位置之间的操作路径段所在的预设区域范围；

从检测的各高度中筛选出最高高度，并确定所述抬高点的高度为以下高度参数之和：

物体的高度上限、所述最高高度、预设的机械臂最小抬高高度。

在一个实施例中，所述放置位置为指定的放置区域，所述装置还包括：

释放控制模块，用于当监控到所述机械臂移动到所述放置区域内时，发送释放指令给所述机械臂以使所述机械臂控制抓取执行器释放所述目标物体。

第四方面，本申请实施例还提供一种物体抓取装置，所述装置包括：

接收模块，用于接收控制器发送的目标物体的操作路径；所述操作路径用于抓取所述目标物体并将所述目标物体放置到放置位置；

执行模块，用于执行所述操作路径时，接收所述控制器下发的下一个目标物体的操作路径；

其中，所述控制器是在监控到机械臂移出预设监控范围时下发的。

在一个实施例中，所述操作路径中包括抓取点和抬高点，所述执行模块用于：

根据所述抓取点抓取所述目标物体；

抓取所述目标物体后抬高到所述抬高点的高度将所述目标物体投放到所述放置位置。

在一个实施例中，所述放置位置为放置区域，所述执行模块用于当移动到所述放置区域时，接收并响应控制器下发的释放指令控制抓取执行器释放所述目标物体。

在一个实施例中，所述装置还包括：

速度调整模块，用于在释放所述目标物体之后，减速至指定速度，所述指定速度大于预设速度阈值。

第五方面，本申请另一实施例还提供了一种计算设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一物体抓取方法。

第六方面，本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一物体抓取方法。

本申请实施例，本申请中考虑控制器规划操作路径和机械臂执行的并行实现方案，即在机械臂移除预设监控范围时，将下一目标物体的操作路径发送给机械臂，以使机械臂完成当前目标物体的抓取时，能够无需等待即可执行下一目标物体的抓取，实现了机械臂连续抓取，提高了物体抓取效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请一个实施例的应用环境的示意图；

图2为根据本申请一个实施例的应用环境的示意图之二；

图3为根据本申请一个实施例的控制器的结构示意图；

图4为根据本申请一个实施例的物体抓取流程的一示意图；

图5为根据本申请一个实施例的目标物体的示意图；

图6为根据本申请一个实施例的确定操作路径的流程示意图；

图7为根据本申请一个实施例的抓取平面和抓取执行器的操作面之间的相对位置关系示意图；

图8a为根据本申请一个实施例的物体抓取流程中确定抬高点高度的示意图；

图8b为根据本申请一个实施例的确定抬高点三维坐标的示意图；

图9为根据本申请一个实施例的在探测区域探测最高点的示意图；

图10为根据本申请一个实施例的物体操作路径的示意图；

图11为根据本申请一个实施例的物体抓取方法的另一流程示意图；

图12为根据本申请一个实施例的物体抓取方法的另一流程示意图；

图13-图14为根据本申请实施例的物体抓取装置示意图；

图15为根据本申请一个实施例的计算设备的示意图。

具体实施方式

发明人研究发现，在使用抓取执行器抓取物体时，相关技术中会导致机械臂工作的过程中产生冗余的等待时间，导致对物体的抓取效率低。有鉴于此，本申请提出了一种物体抓取方法、装置、计算设备和存储介质，用于解决相关技术中机械臂利用率低、物体抓取效率低的问题。本申请实施例涉及的一些名词可包括：

抓取路径，机械臂根据抓取路径从一个位置和姿态移动到目标物体的抓取点，完成对目标物体的抓取；

放置路径，机械臂抓取目标物体后，将目标物体放到放置点的路径为称之为放置路径。

操作路径，为便于描述和理解，操作路径可以包括抓取路径和放置路径。

3D传感器，一种可以获取环境三维数据信息的设备，其中，3D传感器的一种类型为点云-3D传感器，其获取的数据为空间中三维坐标的集合。

3D分割-基于点云数据，通过相关算法将点云中的物体划分成不同的整体。

3D抓取检测-基于点云信息，生成机械臂可抓取坐标，例如抓取点。

机械臂交融半径：机械臂在两个路径点运动过程中的平滑程度的参数。

基于此，本申请中的技术构思可概括为：本申请提出了多个任务并行执行的方案，例如，机械臂作业的过程中，在一个适当的时机开始规划下一个物体的操作路径并下发给机械臂，由此，通过减少机械臂的冗余空闲时间，提高机械臂的利用率，从而提高对物体的抓取效率。

此外，在另一个实施例中，本申请中还考虑了对抓取点的动态规划，以及避免机械臂在放置目标物体的过程中与其他物体产生碰撞，以便提高抓取时的稳定性和成功率。也即，本申请能够提供在抓取效率方面和抓取成功率方面都尽可能优化的方案。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图1为根据本申请一个实施例的应用环境的示意图。

如图1所示，该应用环境中例如可以包括存储系统10、服务器20、3D传感器30、用于抓取物体的机械臂40以及堆放的物体50。其中，网络60可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。

图1中仅以一个3D传感器为例对本申请中提供的物体抓取方法进行说明，实施时，可配置多个3D传感器。3D传感器通过网络60发送给服务器20，服务器20可将获取的点云数据存储在存储系统10中以便于后续使用。服务器20对3D传感器采集的点云数据进行处理，得到各个物体的表面的位置以及姿态和表面积，并得到机械臂对各个物体的抓取顺序和操作路径。在规划出操作路径后，可将操作路径下发给机械臂执行。

其中，如图1所示，机械臂的抓取执行器401可为吸盘，吸盘上分布有多个吸嘴(图中未示出)用于吸取物体。吸盘的操作面可绕吸盘的支架旋转以调整吸盘的抓取姿态。

在本申请实施例中，3D传感器对物品进行图像采集，以便于规划出操作路径，为了能够合理利用处理资源，提高物体的抓取效率，可以在机械臂按照操作路径对目标物体进行作业的过程中，即未将目标物体投放到放置点之前，在机械臂继续作业的同时，启动对下一目标物体的操作路径规划并下发给机械臂，以便于机械臂放置好目标物体后，能够及时执行对下一个目标物体的操作。

需要说明的是，本申请实施例中的存储系统例如可以是缓存系统、也可以是硬盘存储、内存存储等等。

在另一个实施例中，可以简化图1所示场景中的设备，如图2所示，可以由安装机械臂的机器人自主完成图1中服务器相关的操作。例如，如图2所示，包括机器人200，机器人安装有机械臂40，机械臂末端装配有抓取执行器401。实施时，3D传感器可采集物体的图像信息，交由机器人处理，机器人根据图像信息规划目标物体的操作路径，并根据操作路径控制机械臂完成对目标物体的抓取操作。在未完成对目标物体的抓取操作之前，同时控制3D传感器采集图像信息，以便于规划出下一个目标物体的操作路径并下发给机械臂。这样，两个物体的抓取控制几乎同时进行。

在一个实施例中，除了具有机械臂和抓取执行器之外，如图3所示为了实现本申请实施例提供的物体抓取方法，机器人还可配置有：处理器301、存储器302、收发机303以及总线接口304。

收发机303用于收发信号，例如可通过无线网络接收3D相机采集的图像信息，并可通过公网和云端服务器交互。

处理器301负责管理总线架构和通常的处理，存储器302可以存储处理器301在执行操作时所使用的数据和计算机程序。收发机303用于在处理器301的控制下接收和发送数据。

总线架构可以包括任意数量的互联的总线和桥，具体由处理器301代表的一个或多个处理器和存储器302代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起。总线接口提供接口。处理器301负责管理总线架构和通常的处理，存储器302可以存储处理器301在执行操作时所使用的数据。

本申请实施例揭示的流程，可以应用于处理器301中，或者由处理器301实现。在实现过程中，控制机械臂抓取物体相关的步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。处理器301可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成音箱控制流程的步骤。

需要说明的是，本申请实施例中的抓取执行器可以为任意形状的能够抓取物体的装置，例如除前文所述的吸盘外，可以是夹爪。

为便于进一步理解本申请实施例提供的物体抓取方法，下面进一步结合附图对此进行说明。图1和图2所示的服务器和机器人后文可统称为机械臂的控制器。

如图4所示，为本申请实施例提供的物体抓取方法的流程图，适用于机械臂的控制器，包括以下步骤：

步骤401：对任意目标物体，将所述目标物体的操作路径发送给机械臂；以使所述机械臂根据所述操作路径抓取所述目标物体并将所述目标物体放置到放置位置。

步骤402：监控所述机械臂的位置。

步骤403：当所述机械臂移出预设监控范围时，将下一目标物体的操作路径发送给所述机械臂。

实施时，可以通过不断的采集图像进行图像分析，来确定机械臂是否一处预设监控范围。

此外，可以预先设定设置机械臂处于哪个位置范围时，机械臂移除预设监控范围。

综上，本公开实施例中当机械臂移出预设监控范围时，可以将下一目标物体进行操作路径下发给机械臂，以便于机械臂完成对当前目标物体的抓取之后，能够立即执行对下一目标物体的抓取操作，由此提高物体的抓取效率。

在另一个实施例中，如果放置位置是一个位置点，那么需要控制机械臂将目标物体精准的投放到这个位置点。而精准投放，必须控制机械臂减速至静止然后完成投放。然后机械臂的运动速度从0在提升后才能够执行对下一个目标物体的抓取。整个减速和加速的过程控制复杂也比较耗费时间。

本申请实施例中，为了能够进一步提高物体的抓取效率，在对放置位置精度要求较为宽松，物品不易损坏的场景中，定义了放置区域。即控制机械臂将物体投放到放置区域即可，无需精准的控制机械臂将目标物体投放到一个精准的位置点。在实施时可以实时检测机械臂的抓取执行器的位置，当监控到所述机械臂移动到所述放置区域内时，发送释放指令给所述机械臂以使所述机械臂控制抓取执行器释放所述目标物体。

如图5所示，带箭头的曲线为机械臂的部分或全部操作路径、矩形区域为放置区域，矩形边界为放置区域边界。机械臂的操作路径与放置区域的交点为入点。图5中，当机械臂移动到入点位置时，可控制抓取执行器释放目标物体。目标物体可以以抛物线的移动轨迹降落到放置区域内。

在另一个实例中，为了进一步节约时间提高物体的抓取效率并能够更好的投放目标物体，在控制所述机械臂的抓取执行器释放所述目标物体之前，即发生释放指令之后可以控制所述机械臂减速至指定速度，所述指定速度大于预设速度阈值。也即，机械臂无需减速到静止，然后从静止再开始加速，而是减速到一个较慢的速度即可，这样，减速和加速控制的时间缩短，能够提高机械臂的利用率，从而以便于快速的执行对下一个目标物体的作业。

除了前文所述的为提高抓取效率提供的方案，本申请实施例为了提高抓取的稳定性提供了一些实施方式。例如，本申请实施例中，通过所述深度像机对所述预设监控范围进行图像采集，得到深度图像；然后对所述深度图像进行图像分析，获得所述目标物体的位置和姿态；之后，根据所述放置位置、所述目标物体的位置和姿态，规划所述目标物体的操作路径。该操作路径中可包括前置点、抓取点和抬高点。其中：

(1)关于抓取点的动态调整策略

机械臂以抓取点为基准对物体进行抓取操作。在通过3D相机采集到图像后，对图像进行分析得到各物体的抓取平面。对抓取平面进行分析得到抓取点。通常抓取点为抓取平面的中心点。由于物体具有规则的表面，如包裹的表面基本为矩形，可以以表面的几何中心点作为抓取点。

本申请实施例中，考虑到抓取平面存在波动，计算出的中心点不一定能够较好的抓取物体，因此本申请实施例提供了动态抓取点的调整策略，以提高物体的抓取成功率。

例如，在实施时，可以经过实验测试抓取执行器的作业面和抓取平面的接触面积与抓取成功率之间的关系。继而构造一个接触面积-抓取成功率的对应关系曲线。然后，通过该曲线选择合适的抓取点。例如如图6所示，可实施为：

步骤601：根据所述目标物体的位置和姿态确定所述目标物体的抓取平面。

步骤602：识别所述抓取平面的中心点。

步骤603：多次移动所述中心点，得到多个中心点。

步骤604：以各个中心点为候选抓取点，确定在各候选抓取点抓取所述目标物体时所述机械臂的抓取执行器与所述抓取平面的接触面积。

其中，接触面积可以表示为抓取执行器的作业面在抓取平面的投影面积。

步骤605：根据预设的接触面积与抓取成功率曲线，选取抓取成功率最高的候选抓取点作为所述目标物体的抓取点。

例如，中心点坐标为(x，y，z)可分别设定x、y、z方向的微调补偿step_x、step_y、step_z，并计算(x+step_x,y+step_y,z+step_z)情况下抓取执行器和抓取平面的接触面积，选最优抓取平面为标准，确定微调参数step_x,step_y、step_z。

在实施的适合，可以将初始抓取点下方给机械臂，并将微调参数一并下发给机械臂。机械臂移动到初始抓取点时，可以根据微调参数调整抓取执行器的作业面与抓取平面的相对位置，然后再抓取目标物体。

例如如图7所示，虚线所示的矩形框表示抓取平面，实线所示的矩形框为抓取执行器的作业面。那么在动态调整抓取点之后，有可能末端执行器与抓取平面之间如图7所示的位置关系。图7中曲线可理解为各候选抓取点构成的曲线。也相当于抓取平面与抓取执行器的操作面之间的相对位置关系。

(2)关于抬高点的动态调整策略

抬高点区别于前置点，抬高点可为抓取点与放置区域之间的位置点，抬高点用于避免在控制所述机械臂将所述目标物体放置到所述放置位置的过程中碰撞到其他目标物体。在机械臂根据操作路径作业时，机械臂首先根据抓取路径抓取目标物体，在抓取所述目标物体后所述机械臂经以所述抬高点的高度，将所述目标物体放置到所述放置位置。实施时，抬高点用于决定机械臂末端执行器的抬高距离。

实施时，可以设置抬高点的高度为机械臂的最大抬高高度。

当然为了缩短机械臂的操作路径，可以动态的确定抬高点的高度。可实施为如图8a所示：

步骤801：检测探测区域内各物体的高度；其中所述探测区域为从所述抓取点至所述放置位置之间的操作路径段所在的预设区域范围；

步骤802：从检测的各高度中筛选出最高高度，并确定所述抬高点的高度为以下高度参数之和：物体的高度上限、检测的所述最高高度、预设的机械臂最小抬高高度。

如图8b所示，为抬高点的确定方法示意图。抬高点的三维坐标可以表示为抬高点到机械臂原点的向量，由图8b可知，C＝A+B，A、B、C均为向量，其中B＝抬高距离*抓取表面法向量。

例如，如图9所示，图中最大的矩形标识预设监控范围，预设监控范围内各矩形表示不同的物体。探测区域为由以下边界围成的区域：目标物体的左侧边和下侧边界，两条虚线以及虚线与预设监控范围边界的交界。放置路径为目标物体的抓取点至放置点之间的路径。

3D相机架设于目标物体上方，由于目标物体自身高度约束，可以对目标物体的高度取值为obj_height＝obj_max_height，其中obj_max_height表示需要抓取的物体的最大高度，为预设值。探测区域内最高点的高度表示为env_max_hight，机械臂最小抬高高度为least_height，则抬高点的高度Rbt_height＝obj_height+env_max_height+least_height。

通过上述方法，可在保障机械臂抓取稳定性的情况下，缩短机械臂执行路径，从而提高抓取效率。

综上所述，如图10所示，矩形框表示相机监控范围，即前述的预设监控范围，当控制机械臂抓取目标物体后，移动至图10所示的边界点时，同时启动对下一目标物体的路径规划。

在实施时，为了能够便于完成对机械臂的进行监控、操作路径的规划以及对执行操作路径，本申请实施例中可开启三个线程，包括查询位姿线程、调用算法线程和主操作线程，其中：

调用算法线程，用于规划目标物体的操作路径，并存储到队列中；

主操作线程，用于轮询队列，当有操作路径时获取操作路径，并下发给机械臂执行。实施时，socket一次性发送路径点至机械臂。

查询位姿线程，可根据主操作线程的触发监控机械臂的位姿，例如发送操作路径之后触发查询位姿线程监控机械臂的位置；亦或者查询位姿线程可以实时监控机械臂的位置和姿态。当确定机械臂移出预设监控范围时，触发调用算法线程开始规划下一个目标物体的操作路径。每次机械臂运动到预设监控范围之外时，下一个目标物体的操作路径即发送队列，以便于主操作线程能够从队列中轮询到操作路径并下发至机械臂。

在规划操作路径时，3D分割算法通过输入三维点云信息，输出分割的面结果；抓取平面排序算法输入分割的面结果，综合考虑抓取物体的遮挡，放置方向，给出各个抓取平面的优先级排序；轨迹规划算法输入机械臂当前的位姿和抓取平面目标姿态，给出机械臂执行的路径点(即操作路径)。机械臂在接收到操作路径后执行操作路径。

本申请控制器开启单独线程实时访问机械臂当前位姿，并计算机械臂是否超过相机视野(即预设监控范围)，当机械臂运动到达相机视野边界点，则开始同步调用相关算法，计算操作路径。该并行流程包括从出边界点到放置点的机械臂运动时间，在该时间段内完成下一次操作路径的计算，可以保证机械臂连续抓取作业。

基于相同的发明构思，本申请实施例还提供一种物体抓取方法，该方法应用于机械臂，如图11所示，为该方法的流程示意图，包括：

步骤1101：接收控制器发送的目标物体的操作路径；所述操作路径用于抓取所述目标物体并将所述目标物体放置到放置位置；

步骤1102：执行所述操作路径时，接收所述控制器下发的下一个目标物体的操作路径；

其中，所述控制器是在监控到机械臂移出预设监控范围时下发的。

在一个实施例中，所述操作路径中包括抓取点和抬高点，所述执行所述操作路径可执行为：

根据所述抓取点抓取所述目标物体；

抓取所述目标物体后抬高到所述抬高点的高度将所述目标物体投放到所述放置位置。

在一个实施例中，如前文所述，所述放置位置为放置区域，所述将所述目标物体放置到放置位置，包括：

当移动到所述放置区域时，接收并响应控制器下发的释放指令控制抓取执行器释放所述目标物体。同时由于当前机械臂设置较大的交融半径，机械制以弧线绕过放置点，直接前往抓取点进行下一次的抓取作业，极大提高了系统的抓取效率。以此避免机械臂过度的降速和提速带来的时间损耗。

在一个实施例中，在释放所述目标物体之后可以减速至指定速度，所述指定速度大于预设速度阈值。减速的执行可以基于控制器的控制执行，也可以在是否后由机械臂自主执行，本申请对此不作限定。

如图12所示，为本申请实施例提供的物体抓取方法的又一流程示意图，包括：

启动控制器后，在步骤1201中，进行初始化操作，然后在步骤1202中调用路径规划策略，例如前述的算法线程开始规划目标物体的操作路径。并在步骤1203，识别是否规划处操作路径中的路径点，如果否，则在步骤1206中进行异常处理。如果获取到路径点，则在步骤1204中将操作路径中的路径点存入缓存队列。

在执行步骤1202的操作同时，执行步骤1207以循环获取机械臂的位姿，并在步骤1205中，不断判断获取的位姿是否超出相机范围，如果是，则执行步骤1202为下一个目标物体规划操作路径，否则，循环执行步骤1205。

基于相同的发明构思，如图13所示，提出一种物体抓取装置1300，包括：

发送模块1301，用于对任意目标物体，将所述目标物体的操作路径发送给机械臂；以使所述机械臂根据所述操作路径抓取所述目标物体并将所述目标物体放置到放置位置；

监控模块1302，用于监控所述机械臂的位置；

所述发送模块1301，还用于当所述机械臂移出预设监控范围时，将下一目标物体的操作路径发送给所述机械臂。

在一个实施例中，所述预设监控范围为深度像机的拍摄范围，所述装置还包括：

路径规划模块，用于在所述发送模块将所述目标物体的操作路径发送给机械臂之前，根据以下方法规划所述目标物体的操作路径：

通过所述深度像机对所述预设监控范围进行图像采集，得到深度图像；

对所述深度图像进行图像分析，获得所述目标物体的位置和姿态；

根据所述放置位置、所述目标物体的位置和姿态，规划所述目标物体的操作路径，所述操作路径中包括抓取点、前置点和抬高点；

所述抓取点用于抓取所述目标物体，且位于所述目标物体上；

所述前置点用于抓取所述目标物体，且位于所述目标物体的表面的法线方向上；

所述抬高点用于避免机械臂将所述目标物体放置到放置位置的过程中碰撞到其他物体。

在一个实施例中，路径规划模块，用于根规划所述目标物体的操作路径中的所述目标物体的抓取点：

根据所述目标物体的所述位置和所述姿态确定所述目标物体的抓取平面；

识别所述抓取平面的中心点；

多次移动所述中心点，得到多个中心点；

以各个中心点为候选抓取点，确定在各候选抓取点抓取所述目标物体时所述机械臂的抓取执行器与所述抓取平面的接触面积；

根据预设的接触面积与抓取成功率曲线，选取抓取成功率最高的候选抓取点作为所述目标物体的抓取点。

在一个实施例中，所述抬高点的高度供所述机械臂将所述目标物体移动到所述预设监控范围的边界处的过程中保持所述抬高点的高度。

在一个实施例中，所述路径规划模块，还用于：

根据以下方法确定所述抬高点的高度：

检测探测区域内各物体的高度；其中所述探测区域为从所述抓取点至所述放置位置之间的操作路径段所在的预设区域范围；

从检测的各高度中筛选出最高高度，并确定所述抬高点的高度为以下高度参数之和：

物体的高度上限、所述最高高度、预设的机械臂最小抬高高度。

在一个实施例中，所述放置位置为指定的放置区域，所述装置还包括：

释放控制模块，用于当监控到所述机械臂移动到所述放置区域内时，发送释放指令给所述机械臂以使所述机械臂控制抓取执行器释放所述目标物体。

基于相同的发明构思，如图14所示，还提出一种物体抓取装置1400，包括：

接收模块1401，用于接收控制器发送的目标物体的操作路径；所述操作路径用于抓取所述目标物体并将所述目标物体放置到放置位置；

执行模块1402，用于执行所述操作路径时，接收所述控制器下发的下一个目标物体的操作路径；

其中，所述控制器是在监控到机械臂移出预设监控范围时下发的。

在一个实施例中，所述操作路径中包括抓取点和抬高点，所述执行模块用于：

根据所述抓取点抓取所述目标物体；

抓取所述目标物体后抬高到所述抬高点的高度将所述目标物体投放到所述放置位置。

在一个实施例中，所述放置位置为放置区域，所述执行模块用于当移动到所述放置区域时，接收并响应控制器下发的释放指令控制抓取执行器释放所述目标物体。

在一个实施例中，所述装置还包括：

速度调整模块，用于在释放所述目标物体之后，减速至指定速度，所述指定速度大于预设速度阈值。

关于各物体抓取装置中各操作的实施以及有益效果可参见前文方法中的描述，此处不再赘述。

在介绍了本申请示例性实施方式的物体抓取方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的计算设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的物体抓取方法中的步骤。例如，处理器可以执行如物体抓取方法中的步骤。

下面参照图15来描述根据本申请的这种实施方式的计算设备160。图15显示的计算设备160仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图15所示，计算设备160以通用计算设备的形式表现。计算设备160的组件可以包括但不限于：上述至少一个处理器161、上述至少一个存储器162、连接不同系统组件(包括存储器162和处理器161)的总线163。

总线163表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器162可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1621和/或高速缓存存储器1622，还可以进一步包括只读存储器(ROM)1623。

存储器162还可以包括具有一组(至少一个)程序模块1624的程序/实用工具1625，这样的程序模块1624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备160也可以与一个或多个外部设备164(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算设备160交互的设备通信，和/或与使得该计算设备160能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口165进行。并且，计算设备160还可以通过网络适配器166与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器166通过总线163与用于计算设备160的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备160使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本申请提供的一种物体抓取方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种物体抓取方法中的步骤，例如，计算机设备可以执行如图2-3所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于物体抓取的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务端上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程物体抓取设备的处理器以产生一个机器，使得通过计算机或其他可编程物体抓取设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程物体抓取设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程物体抓取设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (20)

1.一种物体抓取方法，其特征在于，所述方法包括：

对任意目标物体，将所述目标物体的操作路径发送给机械臂；以使所述机械臂根据所述操作路径抓取所述目标物体并将所述目标物体放置到放置位置；

监控所述机械臂的位置；

当所述机械臂移出预设监控范围时，将下一目标物体的操作路径发送给所述机械臂；

其中，所述放置位置为指定的放置区域，所述方法还包括：当监控到所述机械臂移动到所述放置区域内时，发送释放指令给所述机械臂以使所述机械臂控制抓取执行器释放所述目标物体。

2.根据权利要求1所述的方法，其特征在于，所述预设监控范围为深度像机的拍摄范围，所述将所述目标物体的操作路径发送给机械臂之前，所述方法还包括：

根据以下方法规划所述目标物体的操作路径：

通过所述深度像机对所述预设监控范围进行图像采集，得到深度图像；

对所述深度图像进行图像分析，获得所述目标物体的位置和姿态；

根据所述放置位置、所述目标物体的位置和姿态，规划所述目标物体的操作路径，所述操作路径中包括抓取点、前置点和抬高点；

所述抓取点用于抓取所述目标物体，且位于所述目标物体上；

所述前置点用于抓取所述目标物体，且位于所述目标物体的表面的法线方向上；

所述抬高点用于避免机械臂将所述目标物体放置到放置位置的过程中碰撞到其他物体。

3.根据权利要求2所述的方法，其特征在于，所述规划所述目标物体的操作路径中的所述目标物体的抓取点，包括：

根据所述目标物体的所述位置和所述姿态确定所述目标物体的抓取平面；

识别所述抓取平面的中心点；

多次移动所述中心点，得到多个中心点；

以各个中心点为候选抓取点，确定在各候选抓取点抓取所述目标物体时所述机械臂的抓取执行器与所述抓取平面的接触面积；

根据预设的接触面积与抓取成功率曲线，选取抓取成功率最高的候选抓取点作为所述目标物体的抓取点。

4.根据权利要求2所述的方法，其特征在于，所述抬高点的高度供所述机械臂将所述目标物体移动到所述预设监控范围的边界处的过程中保持所述抬高点的高度。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据以下方法确定所述抬高点的高度：

检测探测区域内各物体的高度；其中所述探测区域为从所述抓取点至所述放置位置之间的操作路径段所在的预设区域范围；

从检测的各高度中筛选出最高高度，并确定所述抬高点的高度为以下高度参数之和：

物体的高度上限、所述最高高度、预设的机械臂最小抬高高度。

6.一种物体抓取方法，其特征在于，所述方法包括：

接收控制器发送的目标物体的操作路径；所述操作路径用于抓取所述目标物体并将所述目标物体放置到放置位置；

执行所述操作路径时，接收所述控制器下发的下一个目标物体的操作路径；

其中，所述控制器是在监控到机械臂移出预设监控范围时下发的。

7.根据权利要求6所述的方法，其特征在于，所述操作路径中包括抓取点和抬高点，所述执行所述操作路径包括：

根据所述抓取点抓取所述目标物体；

抓取所述目标物体后抬高到所述抬高点的高度将所述目标物体投放到所述放置位置。

8.根据权利要求6所述的方法，其特征在于，所述放置位置为放置区域，所述将所述目标物体放置到放置位置，包括：

当移动到所述放置区域时，接收并响应控制器下发的释放指令控制抓取执行器释放所述目标物体。

9.根据权利要求8所述的方法，其特征在于，在释放所述目标物体之后：

减速至指定速度，所述指定速度大于预设速度阈值。

10.一种物体抓取装置，其特征在于，所述装置包括：

发送模块，用于对任意目标物体，将所述目标物体的操作路径发送给机械臂；以使所述机械臂根据所述操作路径抓取所述目标物体并将所述目标物体放置到放置位置；

监控模块，用于监控所述机械臂的位置；

所述发送模块，还用于当所述机械臂移出预设监控范围时，将下一目标物体的操作路径发送给所述机械臂；

其中，所述放置位置为指定的放置区域，释放控制模块，用于当监控到所述机械臂移动到所述放置区域内时，发送释放指令给所述机械臂以使所述机械臂控制抓取执行器释放所述目标物体。

11.根据权利要求10所述的装置，其特征在于，所述预设监控范围为深度像机的拍摄范围，所述装置还包括：

路径规划模块，用于在所述发送模块将所述目标物体的操作路径发送给机械臂之前，根据以下方法规划所述目标物体的操作路径：

通过所述深度像机对所述预设监控范围进行图像采集，得到深度图像；

对所述深度图像进行图像分析，获得所述目标物体的位置和姿态；

根据所述放置位置、所述目标物体的位置和姿态，规划所述目标物体的操作路径，所述操作路径中包括抓取点、前置点和抬高点；

所述抓取点用于抓取所述目标物体，且位于所述目标物体上；

所述前置点用于抓取所述目标物体，且位于所述目标物体的表面的法线方向上；

所述抬高点用于避免机械臂将所述目标物体放置到放置位置的过程中碰撞到其他物体。

12.根据权利要求11所述的装置，其特征在于，所述路径规划模块，用于根据以下方法规划所述目标物体的操作路径中的所述目标物体的抓取点：

根据所述目标物体的所述位置和所述姿态确定所述目标物体的抓取平面；

识别所述抓取平面的中心点；

多次移动所述中心点，得到多个中心点；

以各个中心点为候选抓取点，确定在各候选抓取点抓取所述目标物体时所述机械臂的抓取执行器与所述抓取平面的接触面积；

根据预设的接触面积与抓取成功率曲线，选取抓取成功率最高的候选抓取点作为所述目标物体的抓取点。

13.根据权利要求11所述的装置，其特征在于，所述抬高点的高度供所述机械臂将所述目标物体移动到所述预设监控范围的边界处的过程中保持所述抬高点的高度。

14.根据权利要求13所述的装置，其特征在于，所述路径规划模块，还用于：

根据以下方法确定所述抬高点的高度：

检测探测区域内各物体的高度；其中所述探测区域为从所述抓取点至所述放置位置之间的操作路径段所在的预设区域范围；

从检测的各高度中筛选出最高高度，并确定所述抬高点的高度为以下高度参数之和：

物体的高度上限、所述最高高度、预设的机械臂最小抬高高度。

15.一种物体抓取装置，其特征在于，所述装置包括：

接收模块，用于接收控制器发送的目标物体的操作路径；所述操作路径用于抓取所述目标物体并将所述目标物体放置到放置位置；

执行模块，用于执行所述操作路径时，接收所述控制器下发的下一个目标物体的操作路径；

其中，所述控制器是在监控到机械臂移出预设监控范围时下发的。

16.根据权利要求15所述的装置，其特征在于，所述操作路径中包括抓取点和抬高点，所述执行模块用于：

根据所述抓取点抓取所述目标物体；

抓取所述目标物体后抬高到所述抬高点的高度将所述目标物体投放到所述放置位置。

17.根据权利要求15所述的装置，其特征在于，所述放置位置为放置区域，所述执行模块用于当移动到所述放置区域时，接收并响应控制器下发的释放指令控制抓取执行器释放所述目标物体。

18.根据权利要求17所述的装置，其特征在于，所述装置还包括：

速度调整模块，用于在释放所述目标物体之后，减速至指定速度，所述指定速度大于预设速度阈值。

19.一种计算设备，其特征在于，包括：存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-9任一项所述的方法。

20.一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序在被计算机执行时用于执行如权利要求1-9中任一权利要求所述的方法。

Images