CN117383109A - 物体夹持顺序确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种物体夹持顺序确定方法、装置、设备及存储介质。该方法包括：获取待抓取区域中各目标物体对应的夹取姿态，根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序。本申请实施例实现了夹具每次夹取待抓取区域的目标物体时，都能将稳定程度最高、与其他物体碰撞程度最小的目标物体夹起，从而保证每次夹取时的成功率。

Description

物体夹持顺序确定方法、装置、设备及存储介质

技术领域

本申请实施例涉及机器人领域或智能物流技术领域，尤其涉及一种物体夹持顺序确定方法、装置、设备及存储介质。

背景技术

在物流仓储领域等需要无人拣选操作的场景中，通常会涉及到由夹具将放置在待抓取区域的目标物体夹取到另一个指定的区域，如从购物篮中取出购买的商品并放至扫码设备前进行扫码，由于每次需要夹取的目标物体的种类和形状预先未知，因此，需要在每次夹取时，通过对目标物体进行识别，以调整夹具的角度、位置等参数，以稳定夹持目标物体。当待抓取区域存在多个待夹取的目标物体时，还需要判断首先夹取哪一个物体，才能保证每个物体都能稳定夹持，避免夹持失败。

现有技术中的夹持顺序判断一般是对位于同一高度相互没有遮挡的目标物体进行排序，如果目标物体之间存在相互重叠，则无法判断先夹持哪个物体。

发明内容

本申请实施例提供了一种物体夹持顺序确定方法、装置、设备及存储介质，能够快速准确确定多个目标物体的夹持顺序。

第一方面，本申请实施例提供了一种物体夹持顺序确定方法，物体夹持顺序确定方法包括：

获取待抓取区域中各目标物体对应的夹取姿态，夹取姿态用于表示夹具在夹取目标物体时的姿态；

根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，稳定指数用于表示夹具在夹取姿态下夹持对应目标物体的稳定程度；

根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，碰撞指数用于表示夹具在夹取姿态下与待抓取区域的目标物体和待抓取区域中的非目标物体发生碰撞的概率；

根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序。

可选地，获取待抓取区域中各目标物体对应的夹取姿态，包括：获取待抓取区域的点云数据；基于点云数据中各数据点间的位置关系，确定待抓取区域中的各目标物体，数据点与目标物体相对应；基于各目标物体的点云数据，获取各目标物体对应的备选夹取姿态；确定满足设定条件的各目标物体对应的备选夹取姿态为各目标物体的夹取姿态，设定条件包括备选夹具姿态中对应夹具与目标物体发生碰撞的概率和夹具夹持目标物体的稳定指数。

可选地，根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，包括：根据目标物体对应夹取姿态下夹具法向量与目标物体的法向量，确定夹具与目标物体的法向量间的余弦值；根据各目标物体对应夹取姿态下的余弦值、夹具与目标物体中心点的距离、夹具的张开宽度，确定目标物体的稳定指数。

可选地，根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，包括：根据夹取姿态下的夹具与对应目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与对应目标物体发生碰撞的概率；根据夹取姿态下的夹具与待抓取区域中非目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与非目标物体发生碰撞的概率；根据各目标物体对应的夹取姿态下夹具与对应目标物体和待抓取区域中非目标物体发生碰撞的概率，确定各目标物体的碰撞指数。

可选地，根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序，包括：基于各目标物体的所在高度，对所在高度进行归一化处理；根据碰撞指数、稳定指数和归一化处理后的所在高度，确定至少一个目标物体的夹持顺序。

可选地，根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序，包括：根据碰撞指数、稳定指数和各目标物体的所在高度的融合排序，确定至少一个目标物体的夹持顺序。

可选地，根据碰撞指数、稳定指数和各目标物体的所在高度的融合排序，确定至少一个目标物体的夹持顺序，包括：根据碰撞指数、稳定指数和各目标物体的所在高度分别与对应权重系数相乘后的结果的融合排序，确定至少一个目标物体的夹持顺序。

第二方面，本申请实施例提供了一种物体夹持顺序确定装置，该物体夹持顺序确定装置包括：

获取模块，用于获取待抓取区域中各目标物体对应的夹取姿态，夹取姿态用于表示夹具在夹取目标物体时的姿态；

第一确定模块，用于根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，稳定指数用于表示夹具在夹取姿态下夹持对应目标物体的稳定程度；

第二确定模块，用于根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，碰撞指数用于表示夹具在夹取姿态下与待抓取区域的目标物体和待抓取区域中的非目标物体发生碰撞的概率；

排序模块，用于根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序。

可选地，获取模块具体用于，获取待抓取区域的点云数据；基于点云数据中各数据点间的位置关系，确定待抓取区域中的各目标物体，数据点与目标物体相对应；基于各目标物体的点云数据，获取各目标物体对应的备选夹取姿态；确定满足设定条件的各目标物体对应的备选夹取姿态为各目标物体的夹取姿态，设定条件包括备选夹具姿态中对应夹具与目标物体发生碰撞的概率和夹具夹持目标物体的稳定指数。

可选地，第一确定模块具体用于，根据目标物体对应夹取姿态下夹具法向量与目标物体的法向量，确定夹具与目标物体的法向量间的余弦值；根据各目标物体对应夹取姿态下的余弦值、夹具与目标物体中心点的距离、夹具的张开宽度，确定目标物体的稳定指数。

可选地，第二确定模块具体用于，根据夹取姿态下的夹具与对应目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与对应目标物体发生碰撞的概率；根据夹取姿态下的夹具与待抓取区域中非目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与非目标物体发生碰撞的概率；根据各目标物体对应的夹取姿态下夹具与对应目标物体和待抓取区域中非目标物体发生碰撞的概率，确定各目标物体的碰撞指数。

可选地，排序模块具体用于，基于各目标物体的所在高度，对所在高度进行归一化处理；根据碰撞指数、稳定指数和归一化处理后的所在高度，确定至少一个目标物体的夹持顺序。

可选地，排序模块具体用于，根据碰撞指数、稳定指数和各目标物体的所在高度的融合排序，确定至少一个目标物体的夹持顺序。

可选地，排序模块具体用于，根据碰撞指数、稳定指数和各目标物体的所在高度分别与对应权重系数相乘后的结果的融合排序，确定至少一个目标物体的夹持顺序。

第三方面，本申请实施例还提供了一种控制设备，该控制设备包括：

至少一个处理器；

以及与至少一个处理器通信连接的存储器；

其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使控制设备执行如本申请实施例第一方面中任一实施例对应的物体夹持顺序确定方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一的物体夹持顺序确定方法。

第五方面，本公开还提供了一种计算机程序产品，该程序产品包含计算机执行指令，计算机执行指令被处理器执行时用于实现如本公开第一方面对应的任意实施例的物体夹持顺序确定方法。

本申请实施例提供的物体夹持顺序确定方法、装置、设备及存储介质，通过获取待抓取区域中各目标物体对应的夹取姿态，然后根据各目标物体的点云数据及夹取姿态，获得各目标物体的稳定指数，根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，然后根据稳定指数、碰撞指数及各目标物体的所在高度，确定夹持顺序。由此，使得夹具每次夹取待抓取区域的目标物体时，都能将稳定程度最高、与其他物体碰撞程度最小的目标物体夹起，从而保证每次夹取时的成功率，避免夹持目标物体时被其他重叠的物体影响，导致夹取失败，同时保证确定的高效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1a为本申请实施例提供的物体夹持顺序确定方法的一种应用场景图；

图1b为图1a中各目标物体相对位置的侧视图；

图1c为本公开实施例提供的物体夹持顺序确定方法的又一种应用场景图；

图1d为本公开实施例提供的实际应用中物体夹持顺序确定方法的又一种应用场景图；

图1e为本公开实施例提供的图1d对应的彩色场景图；

图2为本申请实施例一个实施例提供的物体夹持顺序确定方法的流程图；

图3为本申请实施例又一个实施例提供的物体夹持顺序确定方法的流程图；

图4为本申请实施例又一个实施例提供的物体夹持顺序确定装置的结构示意图；

图5为本申请实施例又一个实施例提供的控制设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请实施例的实施例进行描述。

在物流仓储领域等需要无人拣选操作的场景中，在需要从特定区域夹取物体到另一个区域时，通常由夹爪配合识别算法完成。如根据服务器的选择，将设定种类和数量的物料从混合区域拣选到指定加工原料区域，或者从购物篮中依次夹取每个购买的商品进行扫码，由于特定区域的物提数量无法预先确定，且其中的物料种类可能互不相同，因此，夹爪通过怎样的夹具姿态能夹取起每个物体需要识别算法实时确定，但现有的识别算法需要对每个待夹取的物体建立三维模型，以计算其夹取方式，而三维模型建立时间较长，计算量较大，通常需要数个小时。

在此基础上，还需要确定特定区域的多个待夹取物体的夹持顺序，由于各个待夹取物体之间通常会存在相互重叠的情况，现有技术中无法判断这些待夹取物体的加持顺序，导致无法处理多个物体需要夹持的情况。

为了解决这一问题，本公开实施例提供一种物体夹持顺序确定方法，通过根据目标物体的点云数据获取其夹取姿态、各目标物体的碰撞指数和稳定指数，并据此确定夹取目标物体的顺序，从实现处理多个物体需要夹取的情况，并有效确定其处理顺序。

下面对本公开实施例的应用场景进行解释：

图1a为本公开实施例提供的物体夹持顺序确定方法的一种应用场景图。如图1a所示，在进行夹具姿态确定流程中，服务器根据待夹取区域110所存放的目标物体120、121、122的位置，确定夹爪所应采取的夹取姿态130(应采取的夹具姿态130旁边为备选夹具姿态131)，以完成目标物体120的夹取。

同时，参考图1b，其为图1a中各目标物体相对位置的侧视图，由此可以看出，在目标物体120被取走之前，其下方的目标物体121很难被稳定夹取，

进一步地，如图1c所示，其为本公开实施例提供的物体夹持顺序确定方法的又一种应用场景图。夹取姿态130下的夹具模型132(包括夹持部133、连接部134)与目标物体120的点云数据(图中121表示点云数据中的数据点)的关系，其中该夹取姿态130下的夹持部间距离为L1，夹具中心为A点，夹具与竖直平面的倾角为α。由图中可以看出，夹具模型132的右侧夹持部133与目标物体120中的一个数据点存在重叠。

进一步地，如图1d所示，其为实际应用中物体夹持顺序确定方法的又一种应用场景图。图中灰色团状部分为各个目标物体及根据目标物体的点云数据得到的目标物体形状，颜色较深的长条形(或倒U形)结构为目标物体的夹取姿态，其中长条形结构的颜色不同表示夹取姿态的评分高低(评分如稳定指数或者碰撞指数，图中未示出)，由此可以看出，有的目标物体有多种夹取姿态(此时通常多种夹取姿态效果相同)，有的目标物体(如被其他物体遮挡)就没有夹取姿态，因此，先取出包含有夹取姿态的目标物体，在有夹取姿态的目标物体取出完毕后，再重新确定剩下物体的夹取姿态，重复取出和确定夹取姿态的步骤，直至取完所有物体。

进一步地，如图1e所示，其为图1d对应的彩色场景图，图中蓝色的部分为各个目标物体及根据目标物体的点云数据得到的目标物体形状，物体所在高度越高，蓝色越浅，所在高度越低，蓝色越深，由此可以通过颜色直观确定目标物体所在高度；红色(鲜红至红偏蓝)的长条形(或倒U形)为目标物体的夹取姿态，夹取姿态对应目标物体的夹取顺序越靠前，颜色越偏鲜红(此时，夹取姿态的评分越高，通常直接取出该物体的成功率越大)，夹取顺序越靠后，颜色越偏蓝，但颜色只是用来表达评分的高低，实际应用中不限于红色和蓝色来表达，任何可以方便可视化的颜色均可。由此，可以可视化的看出各个存在夹取姿态的目标物体的夹持顺序。

需说明的是，图1a至图1e所示场景中，待抓取区域、目标物体和夹爪的个数可以是任意的。

以下通过具体实施例详细说明本公开提供的物体夹持顺序确定方法。

图2为本公开一个实施例提供的物体夹持顺序确定方法的流程图。该物体夹持顺序确定方法应用于服务器或处理器。如图2所示，本实施例提供的物体夹持顺序确定方法包括以下步骤：

步骤S201、获取待抓取区域中各目标物体对应的夹取姿态。

其中，夹取姿态用于表示夹具在夹取目标物体时的姿态。

具体的，待抓取区域可以为预先设定的一块没有实际边界的区域，如操作台上指定位置的一块50cm长30cm宽的矩形区域，此时待抓取区域的目标物体可以为所有完全位于矩形区域内的物体；也可以是有实际边界/边框的区域，如某购物篮内部的空间为待抓取区域。此时目标物体可以是为所有位于该购物篮内部的物体。

夹取姿态包括夹具运动方向、夹具中的夹持部相对于夹具的角度、夹具的夹持部之间的距离等参数，通过夹取姿态，能够唯一确定夹具在夹持目标物体过程中的运动方向、距离，以及夹持目标物体时的状态。

每个夹取姿态均为能够成功夹取目标物体的姿态，而不是无法夹取目标物体的姿态(如因与目标物体发生碰撞而导致无法夹取目标物体)。

每个目标物体对应的夹取姿态一般为零个或一个，如位于待抓取区域底部的纸巾盒，由于被大量其他目标物体覆盖，因此，无法在不取出其他目标物体前成功夹取，故此时其对应的夹取姿态有零个。

一些实施例中，部分目标物体的对应的夹取姿态也可能同时存在多个，如在待抓取区域最上层的圆柱形罐头可以有两三个或者更多数量的夹取姿态，均能保证成功夹取目标物体。此时，这些夹取姿态通常稳定指数和碰撞指数均相同。

进一步地，夹取姿态根据目标物体表面的点云数据确定。点云数据为传感器通过采集目标物体表面的点得到，点云数据中的每个数据点对应目标物体上的一个位置。传感器可以为三维摄像传感器，也可以为两个成固定夹角的二维摄像传感器。

步骤S202、根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数。

其中，稳定指数用于表示夹具在夹取姿态下夹持对应目标物体的稳定程度。

具体的，稳定指数是个合成指标，通过各种参数结合，共同确定夹具在夹持目标物体时目标物体相对于夹具的稳定程度。

稳定指数可以包括物体的中心与夹具中心的距离，两者距离越近，目标物体在被夹取时的受夹具的夹持力相对于目标物体中心的力矩越短，物体越不容易相对于夹具夹持位置发生转动，从而保证夹持的稳定性。

稳定指数可以包括夹具自身的张开宽度，因为夹具张开宽度越大，目标物体体积越大，一般情况下其重量越大，从夹具中掉下的概率越大，因此，夹具的张开宽度越小，夹具夹持目标物体时的稳定性越高。

一些实施例中，稳定指数还可以包括目标物体的形变程度，如目标物体的形状可以通过点云数据确定，而如果夹具与目标物体接触的两个夹持间的距离小于了目标物体被夹持部位的宽度，则可以认为目标物体发生了形变，通常目标物体发生形变的程度越小越好，如果目标物体的形变程度过大，可以认为目标物体被破坏，如罐头被夹变形，此时也不能认为夹具夹持物体时的稳定程度高。

进一步地，物体的中心可以直接通过点云数据确定，夹具的张开宽度可以直接通过夹具姿态确定，目标物体的形变程度可以通过夹具姿态和点云数据共同确定，由此，通过夹具姿态和点云数据结合，可以共同确定夹具夹持目标物体的稳定程度。

步骤S203、根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数。

其中，碰撞指数用于表示夹具在夹取姿态下与待抓取区域的目标物体和待抓取区域中的非目标物体发生碰撞的概率。

具体的，由于待抓取区域的部分物体可能被其他目标物体覆盖，导致在其他目标物体被夹取走之前，不存在能够直接成功夹取该物体的夹取姿态，因此，优先确定已经有对应夹取姿态的部分物体，并在这些物体被夹取之后，再重新确定其他原本被覆盖的物体的夹取姿态，并得到其碰撞指数。当不存在目标物体被其他物体覆盖时，则可以直接确定每个目标物体的夹取姿态，进而可以确定其碰撞指数。

进一步地，碰撞指数可以根据每个夹取姿态下夹具与目标物体的点云数据相重叠的数据点数量确定，数据点数量越多，碰撞指数越高，夹具与目标物体发生碰撞的概率越大。

进一步地，碰撞指数还可以根据每个夹取姿态下夹具与目标物体邻近的非目标物体的点云数据相重叠的数据点数量确定，数据点数量越多，也能认为碰撞指数越高，夹具与目标物体邻近的非目标物体发生碰撞的概率越大。

综上，每个夹取姿态对应的碰撞指数根据每个夹取姿态下夹具与目标物体和非目标物体的点云数据相重叠的数据点数量共同确定，相重叠的数据点越少，碰撞指数越低，该夹具姿态越能稳定可靠地夹持目标物体。

步骤S204、根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序。

具体的，对于各个目标物体的夹持顺序，可以根据稳定指数(越高越优先)、碰撞指数(越低越优先)和目标物体的所在高度(越高越优先)综合确定。

对于被覆盖的物体，则可以延后确定其夹持顺序，因为其在被覆盖的情况下，无法得到能够成功夹取其的夹取姿态。

因为目标物体所在高度越高，其下方通常被覆盖了越多的其他物体，因此，先将所在高度较高的目标物体取走，以便之后能够取出被覆盖的其他物体。

具体根据稳定指数、碰撞指数和目标物体所在高度这三个指标确定夹持顺序的方式，可以对这几个指数进行加权，得到一个综合指数，再通过综合指数的排序确定目标物体的夹持顺序；也可以通过对基于三个指标每个的排序结果，综合确定(如根据三个指标排序结果的乘积再排序)目标物体的夹持顺序；还可以根据三个指标融合排序的结果确定夹持顺序。

本公开实施例提供的物体夹持顺序确定方法，通过获取待抓取区域中各目标物体对应的夹取姿态，然后根据各目标物体的点云数据及夹取姿态，获得各目标物体的稳定指数，根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，然后根据稳定指数、碰撞指数及各目标物体的所在高度，确定夹持顺序。由此，使得夹具每次夹取待抓取区域的目标物体时，都能将稳定程度最高、与其他物体碰撞程度最小的目标物体夹起，从而保证每次夹取时的成功率，避免夹持目标物体时被其他重叠的物体影响，导致夹取失败，同时保证确定的高效率。

图3为本公开一个实施例提供的物体夹持顺序确定方法的流程图。如图3所示，本实施例提供的物体夹持顺序确定方法包括以下步骤：

步骤S301、获取待抓取区域的点云数据。

具体的，在确定物体夹持顺序时，首先需要确定各个目标物体或至少部分目标物体的夹取姿态。

在确定夹取姿态时，首先需要通过传感器获取目标物体的点云数据，以便根据点云数据确定其对应的夹取姿态。

获取点云数据可以通过图像传感器完成，若获取的点云数据较少或不足以确定目标物体的夹取姿态，可以调节图像传感器的角度或图像传感器的所在位置重新拍摄。

步骤S302、基于点云数据中各数据点间的位置关系，确定待抓取区域中的各目标物体。

其中，数据点与目标物体相对应。

具体的，在获取点云数据之后，需要根据点云数据中个数据点间的位置关系区分各个目标物体，如与其他数据点均存在较大距离的若干数据点可以认为对应一个目标物体(即周围不存在相邻物体的目标物体的点云数据)。

具体根据点云数据确定目标物体的方法，可以采用现有的点云数据特征提取算法，如3DCNN算法、PointNet算法等。此处不再展开。

步骤S303、基于各目标物体的点云数据，获取各目标物体对应的备选夹取姿态。

具体的，在区分每个目标物体的点云数据后，根据每个目标物体对应的点云数据，可以确定其备选夹取姿态。备选夹取姿态用于表示夹具夹取目标物体的姿态。

备选夹取姿态的确定方式可以为：以点云数据中的每个数据点为夹具中心所朝向的目标，不同夹具运动方向、夹具中的夹持部相对于夹具的角度、夹具的夹持部之间的距离、夹具相对于目标数据点的移动距离等参数分别确定一个备选夹取姿态。

示例性的，以数据点A为目标，从正上方向下运动、夹持部之间距离固定、夹具移动距离固定、夹具以竖向每15度生成一个备选夹取姿态，就可以得到24个备选夹取姿态；再以任意一个备选夹取姿态为基础，将夹持部之间的距离按宽、中、窄变化，可以得到三个备选夹取姿态，由此可得到72个备选夹取姿态，以此类推，可以得到每个数据点对应的备选夹取姿态。

步骤S304、确定满足设定条件的各目标物体对应的备选夹取姿态为各目标物体的夹取姿态。

其中，设定条件包括备选夹具姿态中对应夹具与目标物体发生碰撞的概率和夹具夹持目标物体的稳定指数。

具体的，由于直接基于目标物体的数据点生成的备选夹取姿态中，存在大量可能会与目标物体发生严重碰撞、无法有效夹持目标物体、相互之间存在重复的夹取姿态，因此，需要基于设定条件筛选出可用的夹取姿态。

设定条件可以为每个备选夹取姿态对应的碰撞指数位于设定范围且该备选夹取姿态下夹具夹持目标物体的稳定指数最高。

通过分别计算同一目标物体对应的每个备选夹取姿态的碰撞指数和稳定指数，可以确定出稳定指数最高且碰撞指数在设定范围的至少一个备选夹取姿态，若稳定指数相同的备选夹取姿态存在多个，可以将这些备选夹取姿态中碰撞指数为设定范围内的最低的备选夹取姿态确定为夹持目标物体的夹取姿态。

一些实施例中，若目标物体的所有备选夹取姿态的碰撞指数均不位于设定范围内，则可以确认该目标物体不存在可以有效夹取且不发生碰撞的夹取姿态(即该目标物体不存在对应的夹取姿态)；也可以通过调整图像传感器，重新采集其点云数据，再重新生成备选夹取姿态以进行计算。

具体计算碰撞指数的方式可以参考图2所示实施例中的对应描述，也可以参考步骤S307至步骤S309，此处不再赘述。

具体计算稳定指数的方式可以参考图2所示实施例中的对应描述，也可以参考步骤S305至步骤S306，此处不再赘述。

一些实施例中，也可以不通过步骤S303至步骤S304的方式确定每个目标物体的夹取姿态，而是通过直接加载预先确定完毕的至少一个目标物体的夹取姿态，并据此进行后续计算。

步骤S305、根据目标物体对应夹取姿态下夹具法向量与目标物体的法向量，确定夹具与目标物体的法向量间的余弦值。

具体的，在确定至少一个目标物体的夹取姿态后，若该夹取姿态为基于该目标物体的大量备选夹取姿态通过稳定指数和碰撞指数筛选得到，则可以直接基于该夹取姿态的稳定指数和碰撞指数确定其对应的夹持顺序；若该夹取姿态为直接加载的预先确定的夹取姿态，则可以根据该夹取姿态的具体参数，确定其稳定指数和碰撞指数。

其中，在计算稳定指数时，首先应该基于目标物体对应夹取姿态下，夹具与目标物体的法向量确定目标物体朝向与夹具的偏离程度。

示例性的，以圆柱形罐头为例，理想情况下，夹具应该夹持罐头的上下两个平行的底面(此时目标物体的轴线方向与夹具夹持部的轴线方向相平行，即夹具与目标物体的法向量间的余弦值为1)，若夹具夹持位置分别为罐头的底面和侧面上的一点(此时夹具夹持部与目标物体表面的法向量间的余弦值在0到1之间)，则该夹取姿态下夹具可能很难夹起目标物体。

由此，该余弦值越大越好，最好能够为1，即目标物体的夹持部的法向量与目标物体被夹持部位表面的法向量相平行。

目标物体被夹持部位表面的法向量可以通过点云数据确定，此处不再赘述。

步骤S306、根据各目标物体对应夹取姿态下的余弦值、夹具与目标物体中心点的距离、夹具的张开宽度，确定目标物体的稳定指数。

具体的，夹具与目标物体的中心点距离可以用于近似表示目标物体被夹持部位于目标物体重心的偏离程度，因为目标物体的中心点与夹具中心点距离越远，通常离被夹持部位越远；而该偏离程度越高，目标物体在被夹取过程中相对于被夹持部位发生转动或晃动的概率越大，因此，其稳定程度越低。

进一步地，目标物体的中心点位置可以通过目标物体的全部点云数据共同确定，其计算方式为现有技术且非本方案重点，此处不再赘述。

夹具张开宽度与目标物体稳定指数的关系可以参阅图2所示实施例中的对应描述，此处不再赘述。

进一步地，由于夹具与目标物体中心点的距离和夹具的张开宽度均为长度值，为便于计算，可以对这两个参数进行归一化处理(即极大极小归一化处理)，也可以将夹具张开宽度进行缩小处理，如：

L＝0.1*(1-l)，其中，L为缩小处理后的夹具张开宽度，l为夹具实际张开宽度，单位为米。

进一步地，将这三个参数结合，可以得到目标物体在对应夹取姿态下的稳定指数。其计算公式可以表示为：

f＝S-H+L，其中，f为稳定指数，S为夹具与目标物体的法向量间的余弦值(越大越好)，H为归一化处理的夹具与目标物体中心点的距离(越小越好)，L为缩小处理后的夹具张开宽度(l越小越好，对应L越大越好)，由此，稳定指数f的取值越大越好。

示例性的，某目标物体(为一个直径8cm，长10cm的罐子)与对应夹取姿态下夹具的法向量余弦值为1，归一化处理的夹具与目标物体中心点的距离为0.2(实际距离为5cm，目标物体对应的所有备选夹具姿态中夹具与目标物体中心点的最小距离为4cm，最大距离为9cm，按最大最小归一化处理)，缩小处理后的夹具张开宽度为0.092(实际张开宽度为8cm)，则其稳定指数为：0.892，稳定指数较高，因此能够保证稳定夹起目标物体。

步骤S307、根据夹取姿态下的夹具与对应目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与对应目标物体发生碰撞的概率。

具体的，由于夹具的形状已知，在确定夹取姿态后，就可以确定夹取姿态下夹具的位置，进而可以确定该位置下夹具与目标物体的点云数据重叠的数据点数量，并根据数据点数量，确定夹具与目标物体发生碰撞的概率。

一些实施例中，可以分别计算夹具每个部分与目标物体点云数据重叠的数据点数量，并将每个部分对应的数据点数量与该部分的夹具的体积的比值，用于表示该部分夹具与目标物体发生碰撞的碰撞程度指数，然后将各个部分的碰撞程度指数求和或者加权求和，既可以得到夹具与目标物体的碰撞程度参数，即夹具与目标物体发生碰撞的概率。

步骤S308、根据夹取姿态下的夹具与待抓取区域中非目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与非目标物体发生碰撞的概率。

具体的，除夹具与目标物体的碰撞程度参数外，还需要考虑夹具与非目标物体发生碰撞的概率，即全局碰撞程度参数，其计算方法与步骤S307中类似，为计算夹取姿态下夹具与非目标物体的点云数据重叠的数据点数量(或数据点数量与夹具对应部分体积比值之和)，以得到对应夹具与非目标物体发生碰撞的概率。

步骤S309、根据各目标物体对应的夹取姿态下夹具与对应目标物体和待抓取区域中非目标物体发生碰撞的概率，确定各目标物体的碰撞指数。

具体的，将夹取姿态下夹具与目标物体发生碰撞的概率、夹具与非目标物体发生碰撞的概率结合(如直接求和或者求平均)，可以得到每个目标物体的碰撞指数。

然后就可以基于每个目标物体对应的夹取姿态的稳定指数、碰撞指数，和目标物体的所在高度，共同确定目标物体的夹持顺序。

步骤S310、基于各目标物体的所在高度，对所在高度进行归一化处理。

具体的，由于稳定指数和碰撞指数均为0到1之间的取值，为避免目标物体所在高度在计算中影响过大(如直接将三个指标融合得到新指标以进行排序时)，因此，需要对其进行归一化处理。

示例性的，四个目标物体的所在高度(相对于待抓取区域的底面的高度)分别为0、3、8、20(单位均为cm)，则可以基于最大最小归一化将其高度处理为：0、0.15、0.4、1。

步骤S311、根据碰撞指数、稳定指数和归一化处理后的所在高度，确定至少一个目标物体的夹持顺序。

具体的，在确定至少一个目标物体的碰撞指数、稳定指数和归一化处理后的所在高度后，就可以对确定了这三个指标的目标物体进行排序。

对于无法确定其碰撞指数、稳定指数的目标物体，通常也无法确定其对应的夹取姿态，也就无法成功夹取该目标物体，其通常被其他物体覆盖，需要将覆盖在其上的目标物体取走之后，再确定该物体的夹取姿态，并确定其对应的三个指标。

进一步地，通过碰撞指数、稳定指数和归一化处理后的所在高度三个指标确定夹持顺序的方法，包括：

方式一(未示出)、根据碰撞指数、稳定指数和各目标物体的所在高度的融合排序，确定至少一个目标物体的夹持顺序。

具体的，通过融合排序算法，基于每个能够同时确定三个指标的目标物体(及对应夹取姿态)的三个指标进行融合排序处理，根据排序处理的结果，可以得到这些能够确定三个指标的目标物体的夹持顺序。

示例性的，待抓取区域共有8个目标物体，其中5个目标物体能够确定其夹取姿态，则可以根据这五个目标物体的三个指标的融合排序结果，优先夹取这五个目标物体，在这五个目标物体被夹取完毕后，再重新确定剩下三个目标物体的夹取姿态及夹持顺序。

方式二(未示出)、根据碰撞指数、稳定指数和各目标物体的所在高度分别与对应权重系数相乘后的结果的融合排序，确定至少一个目标物体的夹持顺序。

具体的，由于各种指标的影响程度可能互不相同，可以分别给这三个指标配置对应的权重，然后基于权重指标数值进行融合排序。

示例性的，由于所在高度的目标物体通常更容易取走，因为可以将目标物体所在高度的权重设置为0.4，同时，取走目标物体过程中目标物体的稳定程度也很重要，因此稳定指数的权重也设置为0.4，即使取走该目标物体时会与其他目标物体发生碰撞，只要能够优先取走该目标物体就行，所以将碰撞指数的权重设置为0.2，基于这三个权重和三个指标，可以对确定了三个指标的目标物体进行融合排序，以确定这些目标物体的夹持顺序。

本公开实施例提供的物体夹持顺序确定方法，通过根据待抓取区域的点云数据确定目标物体，根据目标物体的点云数据确定备选夹取姿态，然后基于设定条件确定夹取目标物体的夹取姿态，再分别根据夹取姿态的稳定指数、碰撞指数和归一化处理的目标物体所在高度，确定目标物体的夹持顺序。由此，能够通过待抓取区域的点云数据确定待抓取区域的各个目标物体的夹持顺序，以保证能够依次成功夹取到各个目标物体，同时，由于只需要点云数据，计算量小，确定速度快，同时保证夹持的成功率和效率。

图4为本公开一个实施例提供的物体夹持顺序确定装置的结构示意图。如图4所示，该物体夹持顺序确定装置400应用于服务器或处理器，该物体夹持顺序确定装置400包括：获取模块410、第一确定模块420、第二确定模块430和排序模块440。其中：

获取模块410，用于获取待抓取区域中各目标物体对应的夹取姿态，夹取姿态用于表示夹具在夹取目标物体时的姿态；

第一确定模块420，用于根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，稳定指数用于表示夹具在夹取姿态下夹持对应目标物体的稳定程度；

第二确定模块430，用于根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，碰撞指数用于表示夹具在夹取姿态下与待抓取区域的目标物体和待抓取区域中的非目标物体发生碰撞的概率；

排序模块440，用于根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个目标物体的夹持顺序。

可选地，获取模块410具体用于，获取待抓取区域的点云数据；基于点云数据中各数据点间的位置关系，确定待抓取区域中的各目标物体，数据点与目标物体相对应；基于各目标物体的点云数据，获取各目标物体对应的备选夹取姿态；确定满足设定条件的各目标物体对应的备选夹取姿态为各目标物体的夹取姿态，设定条件包括备选夹具姿态中对应夹具与目标物体发生碰撞的概率和夹具夹持目标物体的稳定指数。

可选地，第一确定模块420具体用于，根据目标物体对应夹取姿态下夹具法向量与目标物体的法向量，确定夹具与目标物体的法向量间的余弦值；根据各目标物体对应夹取姿态下的余弦值、夹具与目标物体中心点的距离、夹具的张开宽度，确定目标物体的稳定指数。

可选地，第二确定模块430具体用于，根据夹取姿态下的夹具与对应目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与对应目标物体发生碰撞的概率；根据夹取姿态下的夹具与待抓取区域中非目标物体的点云数据中的数据点与相重叠的数据点数量，确定夹取姿态下夹具与非目标物体发生碰撞的概率；根据各目标物体对应的夹取姿态下夹具与对应目标物体和待抓取区域中非目标物体发生碰撞的概率，确定各目标物体的碰撞指数。

可选地，排序模块440具体用于，基于各目标物体的所在高度，对所在高度进行归一化处理；根据碰撞指数、稳定指数和归一化处理后的所在高度，确定至少一个目标物体的夹持顺序。

可选地，排序模块440具体用于，根据碰撞指数、稳定指数和各目标物体的所在高度的融合排序，确定至少一个目标物体的夹持顺序。

可选地，排序模块440具体用于，根据碰撞指数、稳定指数和各目标物体的所在高度分别与对应权重系数相乘后的结果的融合排序，确定至少一个目标物体的夹持顺序。

在本实施例中，物体夹持顺序确定装置通过各模块的结合，使得夹具每次夹取待抓取区域的目标物体时，都能将稳定程度最高、与其他物体碰撞程度最小的目标物体夹起，从而保证每次夹取时的成功率，避免夹持目标物体时被其他重叠的物体影响，导致夹取失败，同时保证确定的高效率。

图5为本公开一个实施例提供的控制设备的结构示意图，如图5所示，该控制设备500包括：存储器510和处理器520。

其中，存储器510存储有可被至少一个处理器520执行的计算机程序。该算机程序被至少一个处理器520执行，以使控制设备实现如上任一实施例中提供的物体夹持顺序确定方法。

其中，存储器510和处理器520可以通过总线530连接。

相关说明可以对应参见方法实施例所对应的相关描述和效果进行理解，此处不予赘述。

本公开一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现如上任一方法实施例提供的物体夹持顺序确定方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开一个实施例提供了一种计算机程序产品，其包含计算机执行指令，该计算机执行指令被处理器执行时用于实现如上任一实施例中提供的物体夹持顺序确定方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围由权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (10)

1.一种物体夹持顺序确定方法，其特征在于，所述方法包括：

获取待抓取区域中各目标物体对应的夹取姿态，所述夹取姿态用于表示夹具在夹取所述目标物体时的姿态；

根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，所述稳定指数用于表示所述夹具在夹取姿态下夹持对应目标物体的稳定程度；

根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，所述碰撞指数用于表示夹具在所述夹取姿态下与所述待抓取区域的目标物体和待抓取区域中的非目标物体发生碰撞的概率；

根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个所述目标物体的夹持顺序。

2.根据权利要求1所述的方法，其特征在于，所述获取待抓取区域中各目标物体对应的夹取姿态，包括：

获取待抓取区域的点云数据；

基于所述点云数据中各数据点间的位置关系，确定所述待抓取区域中的各目标物体，所述数据点与所述目标物体相对应；

基于各目标物体的点云数据，获取各目标物体对应的备选夹取姿态；

确定满足设定条件的各目标物体对应的备选夹取姿态为各目标物体的夹取姿态，所述设定条件包括所述备选夹具姿态中对应夹具与目标物体发生碰撞的概率和夹具夹持目标物体的稳定指数。

3.根据权利要求1所述的方法，其特征在于，所述根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，包括：

根据所述目标物体对应夹取姿态下夹具法向量与目标物体的法向量，确定夹具与所述目标物体的法向量间的余弦值；

根据各目标物体对应夹取姿态下的所述余弦值、所述夹具与目标物体中心点的距离、夹具的张开宽度，确定所述目标物体的稳定指数。

4.根据权利要求1所述的方法，其特征在于，所述根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，包括：

根据所述夹取姿态下的夹具与对应目标物体的点云数据中的数据点与相重叠的数据点数量，确定所述夹取姿态下夹具与对应目标物体发生碰撞的概率；

根据所述夹取姿态下的夹具与待抓取区域中非目标物体的点云数据中的数据点与相重叠的数据点数量，确定所述夹取姿态下夹具与非目标物体发生碰撞的概率；

根据各目标物体对应的所述夹取姿态下夹具与对应目标物体和待抓取区域中非目标物体发生碰撞的概率，确定各目标物体的碰撞指数。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个所述目标物体的夹持顺序，包括：

基于各目标物体的所在高度，对所述所在高度进行归一化处理；

根据所述碰撞指数、所述稳定指数和归一化处理后的所在高度，确定至少一个所述目标物体的夹持顺序。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个所述目标物体的夹持顺序，包括：

根据所述碰撞指数、所述稳定指数和各目标物体的所在高度的融合排序，确定至少一个所述目标物体的夹持顺序。

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述碰撞指数、所述稳定指数和各目标物体的所在高度的融合排序，确定至少一个所述目标物体的夹持顺序，包括：

根据所述碰撞指数、所述稳定指数和各目标物体的所在高度分别与对应权重系数相乘后的结果的融合排序，确定至少一个所述目标物体的夹持顺序。

8.一种物体夹持顺序确定装置，其特征在于，包括：

获取模块，用于获取待抓取区域中各目标物体对应的夹取姿态，所述夹取姿态用于表示夹具在夹取所述目标物体时的姿态；

第一确定模块，用于根据各目标物体的点云数据及目标物体对应的夹取姿态，获得各目标物体的稳定指数，所述稳定指数用于表示所述夹具在夹取姿态下夹持对应目标物体的稳定程度；

第二确定模块，用于根据各目标物体对应的夹取姿态和待抓取区域中的至少部分物体，获得各目标物体的碰撞指数，所述碰撞指数用于表示夹具在所述夹取姿态下与所述待抓取区域的目标物体和待抓取区域中的非目标物体发生碰撞的概率；

排序模块，用于根据各目标物体的稳定指数、碰撞指数及各目标物体的所在高度，确定至少一个所述目标物体的夹持顺序。

9.一种控制设备，其特征在于，包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述控制设备执行如权利要求1至7中任一项所述的物体夹持顺序确定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的物体夹持顺序确定方法。