CN107138432A - 非刚性物体分拣方法和装置 - Google Patents

Abstract

本发明公开了非刚性物体分拣方法和装置，方法包括以下步骤：获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；将3D相机采集的深度图像处理为初始点云数据；根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；对所述基础点云数据进行初始分割；对所述初始分割的结果进行位姿估计；根据所述位姿估计的结果对物体进行抓取。通过3D相机获取基础点云数据，然后对基础点云数据进行初始分割，并对分割后的物体进行位姿估计，最后根据位姿估计结果抓取非刚性物体。基础点云数据包含非刚性物体的表面法向量、曲率、距离等特征，更好的实现非刚性物体的分离，解决了非刚性物体的位姿估计和抓取问题。

Description

非刚性物体分拣方法和装置

技术领域

本发明涉及分拣机器人领域，特别涉及非刚性物体分拣方法和装置。

背景技术

近年来，视觉辅助系统在工业现场中的应用越来越多，3D相机也逐步在生活和工业中进行相应的使用。Stein等人使用kinect完成数据的采集工作，并在深度图上进行物体的分割和抓取工作，但是该论文中主要针对的是在边缘上有较明显变化的刚性物体，而对于一些如毛绒玩具、数据线、耳机线等易形变的非刚性物体则没有进行相关处理和研究。在工业现场中，无法对不规则、无CAD模型、易形变的物料进行有效的分拣，不利于生产自动化的实现。

发明内容

为了克服现有技术的不足，本发明的目的在于提供非刚性物体分拣方法和装置，其能解决现有的分拣方法和装置无法对不规则、无CAD模型、易形变的物料进行有效的分拣，不利于生产自动化的实现的问题。

本发明的目的采用以下技术方案实现：

非刚性物体分拣方法，包括以下步骤：

获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

将3D相机采集的深度图像处理为初始点云数据；

根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

对所述基础点云数据进行初始分割；

对所述初始分割的结果进行位姿估计；

根据所述位姿估计的结果对物体进行抓取。

优选的，所述非刚性物体分拣方法还包括以下步骤：

如果所述位姿估计的结果不满足非重叠条件，则对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计。

优选的，所述对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计，具体的，包括以下子步骤：

对所述基础点云数据进行z轴滤波分割时，记录z轴滤波分割的次数与滤波分割的高度值；

对所述z轴滤波分割的结果进行位姿估计时，根据所述z轴滤波分割的次数与滤波分割的高度值进行位姿的恢复。

优选的，所述非重叠条件具体为：所述位姿估计的结果中物体的尺寸不大于预设尺寸，所述预设尺寸是根据所述非刚性物体的尺寸计算的。

优选的，所述非刚性物体分拣方法还包括以下步骤：

如果所述位姿估计的结果不满足可抓取条件，则对所述物体进行拨动。

优选的，所述可抓取条件具体为：所述位姿估计的结果中物体的尺寸小于限制尺寸，所述限制尺寸是根据所述非刚性物体的尺寸计算的。

优选的，所述对所述物体进行拨动，具体的，包括以下子步骤：

计算拨动起始点；

判断所述拨动起始点是否满足拨动安全条件；

若满足所述拨动安全条件，则对所述物体进行拨动；

若不满足所述拨动安全条件，则调整所述拨动起始点。

优选的，所述拨动安全条件具体为：所述拨动起始点的z轴坐标不低于拨动安全高度，所述拨动安全高度是根据拨动起始点沿z轴方向在所述位姿估计的结果中物体上投影的z轴坐标计算的。

优选的，所述根据所述位姿估计的结果对物体进行抓取，具体的，包括以下子步骤：

根据所述位姿估计的结果计算抓取点；

判断所述抓取点是否满足抓取安全条件；

若满足所述抓取安全条件，则对所述物体进行抓取。

优选的，所述抓取安全条件具体为：所述抓取点的z轴坐标不低于抓取安全高度，所述抓取安全高度是根据抓取点沿z轴方向在所述位姿估计的结果中物体上投影的z轴坐标计算的。

本发明的目的还采可采用非刚性物体分拣装置实现：

非刚性物体分拣装置，其特征在于，包括：

获取模块，用于获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

点云模块，用于将3D相机采集的深度图像处理为初始点云数据；

转换模块，用于根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

初始分割模块，用于对所述基础点云数据进行初始分割；

位姿估计模块，用于对所述初始分割的结果进行位姿估计；

抓取模块，用于根据所述位姿估计的结果对物体进行抓取。

优选的，所述非刚性物体分拣装置还包括：

滤波模块，用于如果所述位姿估计的结果不满足非重叠条件，则对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计。

优选的，所述滤波模块包括：

纪录单元，用于对所述基础点云数据进行z轴滤波分割时，记录z轴滤波分割的次数与滤波分割的高度值；

恢复单元，用于对所述z轴滤波分割的结果进行位姿估计时，根据所述z轴滤波分割的次数与滤波分割的高度值进行位姿的恢复。

优选的，所述抓取模块包括：

第一计算单元，用于根据所述位姿估计的结果计算抓取点；

第一判断单元，用于判断所述抓取点是否满足抓取安全条件；

抓取单元，用于若满足所述抓取安全条件，则对所述物体进行抓取。

优选的，所述非刚性物体分拣装置还包括：

拨动模块，用于如果所述位姿估计的结果不满足可抓取条件，则对所述物体进行拨动。

优选的，所述拨动模块包括：

第二计算单元，用于计算拨动起始点；

第二判断单元，用于判断所述拨动起始点是否满足拨动安全条件；

拨动单元，用于若满足所述拨动安全条件，则对所述物体进行拨动；

第二调整单元，用于若不满足所述拨动安全条件，则调整所述拨动起始点。

本发明的目的还采可采用如下非刚性物体分拣装置实现：

非刚性物体分拣装置，包括：

处理器以及用于存储处理器可执行的指令的存储器；

所述处理器被配置为：

获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

将3D相机采集的深度图像处理为初始点云数据；

根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

对所述基础点云数据进行初始分割；

对所述初始分割的结果进行位姿估计；

根据所述位姿估计的结果对物体进行抓取。

相比现有技术，本发明的有益效果在于：通过3D相机获取基础点云数据，然后对基础点云数据进行初始分割，并对分割后的物体进行位姿估计，最后根据位姿估计结果抓取非刚性物体。基础点云数据包含非刚性物体的表面法向量、曲率、距离等特征，更好的实现非刚性物体的分离，解决了非刚性物体的位姿估计和抓取问题。

附图说明

图1是一种典型的分拣系统的结构示意图。

图2是本发明实施例一提供的非刚性物体分拣方法的流程示意图。

图3是本发明实施例二提供的非刚性物体分拣方法的流程示意图。

图4是本发明实施例三提供的非刚性物体分拣装置的结构示意图。

图5是本发明实施例四提供的非刚性物体分拣装置的结构示意图。

具体实施方式

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

本发明所述的非刚性物体分拣方法和装置可以用在由3D相机、机械臂、夹爪、臂端相机等设备组成的分拣系统。如图1所示，一种典型的分拣系统包括分拣工作台10、3D相机20、六自由度机械臂30、气动夹爪40、臂端相机50。其中3D相机20固定在分拣工作台10上，能够完成工作台面物体所在区域的数据采集工作；六自由度机械臂30能够在分拣区域视野覆盖区域进行有效空间的移动；气动夹爪40固定在六自由度机械臂30末端，能够完成物体的抓取；臂端相机50设置在六自由度机械臂30末端，完成机械臂末端与标定板之间的标定，臂端相机50可以采用RGB相机。此外，3D相机20处设有条形光源(图未示)，为3D相机20的标定进行光照补偿；在臂端相机50处设有环形光源(图未示)，能够对臂端相机50进行光照补偿，环形光源和条形光源的灯光控制可以利用公知的光源控制器实现。

由于臂端相机50设在六自由度机械臂30的末端，为保证其所受光照均匀，并且减少六自由度机械臂30运动引起的干扰，在臂端相机50外围设置环形光源。环形光源通过球形漫反射后，光线均匀，适合对表面反光、曲面的物体进行分析。

在分拣系统投入应用之前，需要完成分拣系统的初始化。分为离线阶段、部署阶段。其中，离线阶段主要是获取机械臂移动了也不会变得参数，如3D相机和臂端相机的内参、拖盘的示教点位、臂端相机和机械臂末端的标定。

由于机械臂在运动的过程中，会在工作空间发生碰撞，所以需要离线示教几个中间点。机械臂运动的点分为：起始点、中间点、抓取初始点和抓取点，其中起始点、中间点和抓取初始点为离线示教点；抓取点为分拣系统进行分拣工作时获得的点。抓取初始点到计算得到的抓取点运动过程中不会发生碰撞，所以在此过程中不断示教，直至找到合适的示教点，之后就不必重复该操作，只需要计算对应的抓取点完成抓取即可。

部署阶段要获取的是指机械臂移动一次后会发生变化的相关参数，如3D相机的外参和臂端相机的外参；因为需要完成分拣，所以还需要知道机械臂末端和3D相机之间的关系，需要通过世界坐标的转换，所以机械臂发生移动后，需要对外参进行重新标定。

内部参数是指摄像机的焦距、光轴与图像平面的交点坐标、每个像素在、轴的物理尺寸，畸变系数等，外参数即摄像机坐标系与世界坐标系之间的相对位置矩阵，包括旋转矩阵与平移矩阵。这些参数一般通过实验计算得到，这个过程被称为是摄像机定标。摄像机定标通过现有技术即可实现，不再赘述，下面着重对通过分拣系统实现对非刚性物体分拣的方法进行介绍。

实施例一：

如图2所示的非刚性物体分拣方法，包括以下步骤：

S110，获取标定数据，所述标定数据包括臂端相机、3D相机的外参数。

标定数据包括摄像机坐标系与世界坐标系之间的相对位置矩阵，包括旋转矩阵与平移矩阵。可以实现数据在摄像机坐标系与世界坐标系之间的相互转换。

S120，将3D相机采集的深度图像处理为初始点云数据。

3D相机主要采集分拣工作台的深度图像。通过3D相机标定后，将深度图像根据3D相机内参转换为点云数据。如果工作台场景复杂，可以先将工作台背景滤除，只留下物体点云信息。工作台深度图像的获取和转换为点云数据，工作台背景分割、滤除均可由现有技术实现。

S130，根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据。

一般的，将摄像机坐标系的所述初始点云数据转换到世界坐标系下，即桌面坐标系，对应于工作台。以工作台为x-y平面，工作台的上下方向即为z轴方向。

S140，对所述基础点云数据进行初始分割。

先将基础点云数据的冗余、噪声干扰通过连通域的计算进行滤除，然后对剩下的点进行相应的特征提取，如表面法向量、曲率、距离等，进而通过区域增长完成点云的初始分割，将离散的点云分成一个一个物体。

具体的，3D相机采集得到当前视角下环境的点云P_c＝{p₁，p₂，...，p_n}，由于已经完成了相机外参的标定T_wcs，将摄像机坐标系转换到世界坐标系P_w＝{p′₁，p′₂，...，p′_n}，将桌面的点云进行滤除，只留下物体部分的点云，对该部分点云进行相关参数的计算，提取点p′_i对应的法向量用于其特征描述，其在半径σ组成的邻近点集合为则法向量与邻域的夹角均值为：

其与邻近点的距离均值为若点p′_i与p′_j满足：

则将其归为一类，否则为新的种子，直至99％的点都归并完成，停止增长，由此完成了基础点云数据的分割。其中thresh表示综合物体点之间法向量夹角、距离等参数的阈值，根据经验、有限次实验可以得知。

S150，对所述初始分割的结果进行位姿估计。

通过位姿估计得到上一步骤初始分割得到的物体的长度、宽度，在x-y平面上的坐标和在z轴上的坐标等信息。为下一步数据处理或分拣操作提供依据。位姿估计可以由现有的最小包围盒(bounding box)估计算法实现。

S160，根据所述位姿估计的结果对物体进行抓取。

引入“置信度”作为评价分割出物体可抓取可能性的参数。置信度可以根据夹爪尺寸和位姿估计得到的物体的长度、宽度的大小关系、物体在z轴上的坐标计算。夹爪尺寸与物体宽度、长度越吻合，置信度越高；物体在z轴上的坐标值越高，即离工作台表面高度越高，置信度越高。根据所述位姿估计的结果对物体进行抓取，指的是优先抓取置信度高的物体。

具体的，在另一实施例中，所述根据所述位姿估计的结果对物体进行抓取，包括以下子步骤：

S161，根据所述位姿估计的结果计算抓取点；抓取点指的是位姿估计得到的包围盒的中心点的坐标以及包围盒三个面的法向量，可以理解为将坐标系平移旋转到包围盒中心点去，具体的，可以设定包围盒最小面的法向量为抓取点的x方向、最大面的法向量为抓取点的z方向，然后依据右手坐标系得到抓取点的y方向。

S162，判断所述抓取点是否满足抓取安全条件；具体的，所述抓取安全条件为：所述抓取点的z轴坐标不低于抓取安全高度，所述抓取安全高度是根据抓取点沿z轴方向在所述位姿估计的结果中物体上投影的z轴坐标计算的。如果抓取安全高度等于抓取点沿z轴方向在物体上投影的z轴坐标，如果抓取点的z轴坐标低于该抓取安全高度，则机械臂末端的夹爪在抓取过程中会戳到物体上表面，不仅无法有效抓取，还可能损伤物体。

S163，若满足所述抓取安全条件，则对所述物体进行抓取。机械臂动作和夹爪抓取物体均为现有技术，不再赘述。

S164，若不满足所述抓取安全条件，则对所述物体进行拨动。之后重新执行步骤S110-S160。

具体的，所述对所述物体进行拨动，包括以下子步骤：

S1641，计算拨动起始点；拨动起始点可以由所述位姿估计得到的物体在x-y平面上的坐标、在z轴上的坐标计算。

S1642，判断所述拨动起始点是否满足拨动安全条件；具体的，所述拨动安全条件为：所述拨动起始点的z轴坐标不低于拨动安全高度，所述拨动安全高度是根据拨动起始点沿z轴方向在所述位姿估计的结果中物体上投影的z轴坐标计算的。

拨动起始点的拨动安全条件与步骤S162中抓取点的抓取安全条件类似，不再赘述。

S1643，若满足所述拨动安全条件，则对所述物体进行拨动；控制机械臂动作和夹爪动作拨动物体均为现有技术，不再赘述。

S1644，若不满足所述拨动安全条件，则调整所述拨动起始点。典型的，调整拨动起始点就是将拨动起始点沿平行于x-y平面移动，如改变拨动起始点的x坐标或y坐标；当然，也可以根据需要改变拨动起始点的z坐标。

本发明提供的非刚性物体分拣方法，通过3D相机获取基础点云数据，然后对基础点云数据进行初始分割，并对分割后的物体进行位姿估计，最后根据位姿估计结果抓取非刚性物体。基础点云数据包含非刚性物体的表面法向量、曲率、距离等特征，更好的实现非刚性物体的分离，解决了非刚性物体的位姿估计和抓取问题。

实施例二：

如图4所示的非刚性物体分拣方法，包括以下步骤：

S210，获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

S220，将3D相机采集的深度图像处理为初始点云数据；

S230，根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

S240，对所述基础点云数据进行初始分割；

S250，对所述初始分割的结果进行位姿估计；

步骤S210-S250，分别对应实施例一中的S110-S150，不再赘述。

进一步，非刚性物体分拣方法，还包括以下步骤：

S251，如果所述位姿估计的结果不满足非重叠条件，则对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计。具体的，所述非重叠条件为：所述位姿估计的结果中物体的尺寸不大于预设尺寸。位姿估计的结果中物体的尺寸指的是最小包围盒的长、宽、高；所述预设尺寸是根据实际要分拣的所述非刚性物体的长、宽、高尺寸计算的。所述位姿估计的结果中物体的尺寸不大于预设尺寸，具体为位姿估计的结果中物体的长、宽、高相应的均不大于预设尺寸的长、宽、高。

一般情况下，工作台上的抓取物体都是确定的，如毛绒玩具、数据线、耳机线等，其尺寸大小都是预知的，将位姿估计的结果中物体的尺寸与抓取物体的尺寸比较可以评估位姿估计的准确程度。预设尺寸可以是工作台上非刚性物体的实际尺寸，也可以由非刚性物体的实际尺寸乘以一个小于1的参数得到的预设尺寸。

如果位姿估计的结果中物体的尺寸大于预设尺寸，就表示位姿估计的结果中物体是有重叠的部分的，分割的还不够完全。用预设尺寸来衡量，是因为非刚性物体的边缘不确定，可以考虑忽略部分边缘，以增大抓取的几率，减小计算量和计算时间。

由于工作台上的物体会存在一定程度的重叠，并且本发明的分拣对象是非刚性、无CAD模型易形变的物体，所以在边缘特征上并不是很稳定，所以在进行区域增长时可能不能分割完全，导致一定程度上的欠分割，从而将多个物体划分为一个。由于物体位于在工作台平面，物体的重叠往往因为其在z轴上有一定的重叠，并且已将点云数据由摄像机坐标系转换为世界坐标系(桌面坐标系)，所以可以通过对点云数据在z轴上进行滤波处理，来减少物体之间的关联，进而对滤波后的点云数据进行分割和位姿估计。分割、位姿估计可以分别采用实施例一中的初始分割、位姿估计的方法来实现。

优选的，对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计，具体的，包括以下子步骤：

S2511，对所述基础点云数据进行z轴滤波分割时，记录z轴滤波分割的次数F_n与滤波的高度值Δz；

S2512，对所述z轴滤波分割的结果进行位姿估计时，根据所述z轴滤波分割的次数F_n与滤波的高度值Δz进行位姿的恢复。

如果经过多次z轴滤波分割后能够对点云数据有效的分割，则在位姿估计时可以对物体进行恢复，因为只使用多次z轴滤波分割后的局部信息进行位姿估计，可能会导致不准确。所以需要记录下滤波的次数F_n和每次滤波的高度Δz来完成物体位姿的恢复，即按照F_n倒序一次次将对应高度Δz的点云叠加回来。

作为本发明的进一步改进，非刚性物体分拣方法还包括以下步骤：

S252，如果所述位姿估计的结果不满足可抓取条件，则对所述物体进行拨动。具体的，所述可抓取条件为：所述位姿估计的结果中物体的尺寸小于限制尺寸，所述限制尺寸是根据所述非刚性物体的实际尺寸计算的，如工作台上非刚性物体的尺寸乘以0.5或0.3。

如果经过多次z轴滤波分割后，滤波后的点云数据点数已经很少了，不能继续计算，即所述位姿估计的结果中物体的尺寸小于限制尺寸，则不再进行z轴滤波分割，且此时工作台上没有找到可以抓取的物体。因此，可以通过拨动物体，获取新的工作台深度图像，进行后续处理。可能经过拨动之后，物体的摆放关系改变会利于找到可抓取的物体，然后分拣。

具体的，所述对所述物体进行拨动，包括以下子步骤：

S2521，计算拨动起始点；拨动起始点可以由某次位姿估计得到的物体在x-y平面上的坐标、在z轴上的坐标计算。

S2522，判断所述拨动起始点是否满足拨动安全条件；

S2523，若满足所述拨动安全条件，则对所述物体进行拨动；

S2524，若不满足所述拨动安全条件，则调整所述拨动起始点。

步骤S2521-S2524分别对应于实施例一中的步骤S1641-S1644，不再赘述。

S260，根据所述位姿估计的结果对物体进行抓取。

步骤S260，对应于实施例一中的S160，不再赘述。

实施例三：

如图4所示的非刚性物体分拣装置，包括：

获取模块110，用于获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

点云模块120，用于将3D相机采集的深度图像处理为初始点云数据；

转换模块130，用于根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

初始分割模块140，用于对所述基础点云数据进行初始分割；

位姿估计模块150，用于对所述初始分割的结果进行位姿估计；

抓取模块160，用于根据所述位姿估计的结果对物体进行抓取。

典型的，抓取模块160包括：

第一计算单元，用于根据所述位姿估计的结果计算抓取点；

第一判断单元，用于判断所述抓取点是否满足抓取安全条件；

抓取单元，用于若满足所述抓取安全条件，则对所述物体进行抓取；

第一调整单元，用于若不满足所述抓取安全条件，则调整所述抓取点。

在另一实施例中，非刚性物体分拣装置，还包括：

滤波模块151，用于如果所述位姿估计的结果不满足非重叠条件，则对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计。

滤波模块151具体的包括：

纪录单元，用于对所述基础点云数据进行z轴滤波分割时，记录z轴滤波分割的次数与滤波分割的高度值；

恢复单元，用于对所述z轴滤波分割的结果进行位姿估计时，根据所述z轴滤波分割的次数与滤波分割的高度值进行位姿的恢复。

作为本发明的进一步改进，非刚性物体分拣装置，还包括：

拨动模块152，用于如果所述位姿估计的结果不满足可抓取条件，则对所述物体进行拨动。

拨动模块152具体的包括：

第二计算单元，用于计算拨动起始点；

第二判断单元，用于判断所述拨动起始点是否满足拨动安全条件；

拨动单元，用于若满足所述拨动安全条件，则对所述物体进行拨动；

第二调整单元，用于若不满足所述拨动安全条件，则调整所述拨动起始点。

本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等，如实施例四。

实施例四：

如图5所示的非刚性物体分拣装置，包括：处理器200以及用于存储处理器200可执行的指令的存储器300；

所述处理器200被配置为：

获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

将3D相机采集的深度图像处理为初始点云数据；

根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

对所述基础点云数据进行初始分割；

对所述初始分割的结果进行位姿估计；

根据所述位姿估计的结果对物体进行抓取。

本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。

本发明实施例提供的装置，可以通过3D相机获取基础点云数据，然后对基础点云数据进行初始分割，并对分割后的物体进行位姿估计，最后根据位姿估计结果抓取非刚性物体。基础点云数据包含非刚性物体的表面法向量、曲率、距离等特征，更好的实现非刚性物体的分离，解决了非刚性物体的位姿估计和抓取问题。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (17)

1.非刚性物体分拣方法，其特征在于，包括以下步骤：

获取标定数据；

将3D相机采集的深度图像处理为初始点云数据；

根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

对所述基础点云数据进行初始分割；

对所述初始分割的结果进行位姿估计；

根据所述位姿估计的结果对物体进行抓取。

2.如权利要求1所述的非刚性物体分拣方法，其特征在于，还包括以下步骤：

如果所述位姿估计的结果不满足非重叠条件，则对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计。

3.如权利要求2所述的非刚性物体分拣方法，其特征在于，所述对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计，具体的，包括以下子步骤：

对所述基础点云数据进行z轴滤波分割时，记录z轴滤波分割的次数与滤波分割的高度值；

对所述z轴滤波分割的结果进行位姿估计时，根据所述z轴滤波分割的次数与滤波分割的高度值进行位姿的恢复。

4.如权利要求2所述的非刚性物体分拣方法，其特征在于，所述非重叠条件具体为：所述位姿估计的结果中物体的尺寸不大于预设尺寸，所述预设尺寸是根据所述非刚性物体的尺寸计算的。

5.如权利要求2所述的非刚性物体分拣方法，其特征在于，还包括以下步骤：

如果所述位姿估计的结果不满足可抓取条件，则对所述物体进行拨动。

6.如权利要求5所述的非刚性物体分拣方法，其特征在于，所述可抓取条件具体为：所述位姿估计的结果中物体的尺寸小于限制尺寸，所述限制尺寸是根据所述非刚性物体的尺寸计算的。

7.如权利要求5所述的非刚性物体分拣方法，其特征在于，所述对所述物体进行拨动，具体的，包括以下子步骤：

计算拨动起始点；

判断所述拨动起始点是否满足拨动安全条件；

若满足所述拨动安全条件，则对所述物体进行拨动；

若不满足所述拨动安全条件，则调整所述拨动起始点。

8.如权利要求7所述的非刚性物体分拣方法，其特征在于，所述拨动安全条件具体为：所述拨动起始点的z轴坐标不低于拨动安全高度，所述拨动安全高度是根据拨动起始点沿z轴方向在所述位姿估计的结果中物体上投影的z轴坐标计算的。

9.如权利要求1-8中任一项所述的非刚性物体分拣方法，其特征在于，所述根据所述位姿估计的结果对物体进行抓取，具体的，包括以下子步骤：

根据所述位姿估计的结果计算抓取点；

判断所述抓取点是否满足抓取安全条件；

若满足所述抓取安全条件，则对所述物体进行抓取。

10.如权利要求9所述的非刚性物体分拣方法，其特征在于，所述抓取安全条件具体为：所述抓取点的z轴坐标不低于抓取安全高度，所述抓取安全高度是根据抓取点沿z轴方向在所述位姿估计的结果中物体上投影的z轴坐标计算的。

11.非刚性物体分拣装置，其特征在于，包括：

获取模块，用于获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

点云模块，用于将3D相机采集的深度图像处理为初始点云数据；

转换模块，用于根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

初始分割模块，用于对所述基础点云数据进行初始分割；

位姿估计模块，用于对所述初始分割的结果进行位姿估计；

抓取模块，用于根据所述位姿估计的结果对物体进行抓取。

12.如权利要求11所述的非刚性物体分拣装置，其特征在于，还包括：

滤波模块，用于如果所述位姿估计的结果不满足非重叠条件，则对所述基础点云数据进行z轴滤波分割，并对所述z轴滤波分割的结果进行位姿估计。

13.如权利要求12所述的非刚性物体分拣装置，其特征在于，所述滤波模块包括：

纪录单元，用于对所述基础点云数据进行z轴滤波分割时，记录z轴滤波分割的次数与滤波分割的高度值；

恢复单元，用于对所述z轴滤波分割的结果进行位姿估计时，根据所述z轴滤波分割的次数与滤波分割的高度值进行位姿的恢复。

14.如权利要求11所述的非刚性物体分拣装置，其特征在于，所述抓取模块包括：

第一计算单元，用于根据所述位姿估计的结果计算抓取点；

第一判断单元，用于判断所述抓取点是否满足抓取安全条件；

抓取单元，用于若满足所述抓取安全条件，则对所述物体进行抓取。

15.如权利要求11所述的非刚性物体分拣装置，其特征在于，还包括：

拨动模块，用于如果所述位姿估计的结果不满足可抓取条件，则对所述物体进行拨动。

16.如权利要求15所述的非刚性物体分拣装置，其特征在于，所述拨动模块包括：

第二计算单元，用于计算拨动起始点；

第二判断单元，用于判断所述拨动起始点是否满足拨动安全条件；

拨动单元，用于若满足所述拨动安全条件，则对所述物体进行拨动；

第二调整单元，用于若不满足所述拨动安全条件，则调整所述拨动起始点。

17.非刚性物体分拣装置，其特征在于，包括：

处理器以及用于存储处理器可执行的指令的存储器；

所述处理器被配置为：

获取标定数据，所述标定数据包括臂端相机、3D相机的外参数；

将3D相机采集的深度图像处理为初始点云数据；

根据所述标定数据将所述初始点云数据进行坐标转换，得到基础点云数据；

对所述基础点云数据进行初始分割；

对所述初始分割的结果进行位姿估计；

根据所述位姿估计的结果对物体进行抓取。