CN112818930A - 一种堆垛箱体的识别方法及抓取位姿的确定方法 - Google Patents

Abstract

本申请提供了一种堆垛箱体的识别方法及抓取位姿的确定方法，属于机器人拆垛技术领域，具体包括如下步骤：拍照获得垛型的深度图，根据垛型的深度图中的深度值，识别出垛型最高层区域，基于垛型最高层区域恢复出垛型最高层的点云；在垛型最高层区域中建立各箱体的轮廓线，从而识别垛型最高层的点云的各箱体。通过本申请的处理方案，在点云的基础上建立出每各箱体的轮廓线，明确出点云无法区分相邻近箱体的边缘，提高垛型识别的精准性。

Description

一种堆垛箱体的识别方法及抓取位姿的确定方法

技术领域

本申请涉及机器人拆垛的技术领域，尤其是涉及一种堆垛箱体的识别方法及抓取位姿的确定方法。

背景技术

智能仓储物流，通过机器人手臂对垛型进行拆解、码放、整合等操作，其过程需要在计算机中进行3D点云建模，以帮助计算机进行垛型识别，进而完成上述操作。

使用3D点云匹配的方式进行垛型识别的过程中，由于点云的离散性，通常无法区分相邻近箱体的边缘，进而导致垛型识别不准确，使机器人手臂的后续操作出现问题。

发明内容

有鉴于此，本申请提供一种堆垛箱体的识别方法及抓取位姿的确定方法，解决了现有技术中无法区分相邻近箱体的边缘，导致垛型箱体识别不准确的问题，提高垛型识别的精准性。

一方面本申请提供的一种堆垛箱体的识别方法采用如下的技术方案：

一种堆垛箱体的识别方法，包括如下步骤：

拍照获得垛型的深度图，根据垛型的深度图中的深度值，识别出垛型最高层区域，基于垛型最高层区域恢复出垛型最高层的点云；

在垛型最高层区域中建立各箱体的轮廓线，从而识别垛型最高层的点云的各箱体。

通过采用上述技术方案，根据深度图获得垛型最高层的点云，在点云的基础上建立出每各箱体的轮廓线，轮廓线可以明确出点云无法区分相邻近箱体的边缘；从而改善垛型箱体识别不准确的问题，提高垛型识别的精准性。

可选的，所述轮廓线基于各箱体点云建立，对各箱体点云的侧边进行连线且延长，得到完整闭合的轮廓线。

可选的，所述轮廓线基于各箱体点云对应的箱体顶角建立，将相邻顶角连线得到完整连续的轮廓线。

可选的，所述轮廓线通过如下步骤获得：从拍摄所述堆垛箱体深度图的视角拍摄平面图，根据平面图识别出垛型最高层区域中各箱体的顶点，根据各箱体的顶点在垛型最高层点云中确定对应箱体的轮廓线，从而识别点云中的各箱体个体。

可选的，所述平面图为彩色图。

可选的，所述识别方法用于识别顶壁为矩形、等腰梯形、平行四边形、圆形或正多边形中任一种的箱体；

所述识别方法还包括，识别出各箱体个体后，以箱体轮廓线的中心为原点建立直角坐标轴，且X轴和Y轴均与轮廓线边沿相交，使得所述直角坐标轴与各箱体点云平面平行，记录各箱体的原点坐标以及相应直角坐标轴相对于基准坐标系的偏转程度，获得各箱体的位置姿态。

可选的，所述识别方法用于识别顶壁为矩形的箱体，直角坐标轴的X轴和Y轴分别平行于矩形相邻的两个边。

另一方面本申请提供一种堆垛箱体的抓取位姿的确定方法采用如下的技术方案：

一种堆垛箱体的抓取位姿的确定方法，抓取执行器初始位置的中心与待抓取箱体的矩形轮廓线的中心对正，获得如如上所述箱体的位置姿态后，抓取前进行如下步骤：

步骤一，基于如上所述中形成的点云，对矩形轮廓线以外的区域进行点云搜索，确认矩形轮廓线每条边于矩形轮廓线以外区域是否存在点云，若矩形轮廓线存在至少一条边以外的区域不存在点云，则认为对应矩形轮廓线的箱体为垛型边缘箱体，且对应的矩形轮廓线的侧边为外侧边；

步骤二，以对应垛型边缘箱体的轮廓线的中心为起点、以任一外侧边的中点为终点的方向作为偏置方向；将与矩形轮廓线的外侧边相邻的侧边设为偏置方向边，由深度图得到边缘箱体偏置方向边的长度，再结合抓取执行器平行于偏置方向边的侧边的长度计算偏置量，偏置量等于抓取执行器与偏置方向边平行的侧边减去偏置方向边长度的差值的二分之一，所述差值为负数时，偏置量取零；

步骤三，基于各边缘箱体相应的偏置方向上偏置量，得到抓取位姿。

通过采用上述技术方案，根据识别箱体的位置和姿态，计算执抓取执行器在抓取使的偏移量，减少多抓的情况。

可选的，所述步骤一中，若矩形存在至少一组相邻侧边以外的区域不存在点云，则矩形侧边包括至少一组相邻的外侧边；

以对应垛型边缘箱体的轮廓线的中心为起点、以任一组相邻外侧边中的任一外侧边的中点为终点的方向作为偏置方向，重复步骤二，得到第一偏置方向和第一偏置方向上的第一偏置量；以对应箱体的矩形的中心为起点、以同一组相邻外侧边中的另一外侧边的中点为终点的方向作为偏置方向，得到第二偏置方向和第二偏置方向上的第二偏置量。

综上所述，本申请包括以下有益技术效果：

根据深度图获得垛型最高层的点云，在点云的基础上建立出每个箱体的轮廓线，轮廓线可以明确出点云无法区分相邻近箱体的边缘；从而改善垛型箱体识别不准确的问题，提高垛型识别的精准性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请堆垛箱体的识别方法的流程图；

图2为本申请堆垛箱体的抓取位姿的确定方法实施例一的流程图；

图3为本申请堆垛箱体的抓取位姿的确定方法实施例一的偏置量示意图；

图4为本申请堆垛箱体的抓取位姿的确定方法实施例三的流程图；

图5为本申请堆垛箱体的抓取位姿的确定方法实施例三的偏置量示意图。

附图标记说明：1、直角坐标轴；2、垛型边缘箱体；21、外侧边；22、偏置方向边；3、抓取执行器；31、抓取执行器长边；4、长度为x的外侧边；5、长度为y的外侧边；6、长度为w的边；7、长度为l的边。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本申请提供一种堆垛箱体的识别方法。

实施例一

如图1所示，一种堆垛箱体的识别方法，包括如下步骤：

步骤一，拍照获得垛型的深度图，根据垛型的深度图的中的深度值，识别出垛型最高层区域，基于垛型最高层区域恢复出垛型最高层的点云；

步骤二，从拍摄堆垛箱体深度图的视角拍摄平面图，平面图为彩色图，根据平面图识别出垛型最高层区域中各箱体的顶点，根据各箱体的顶点在垛型最高层点云中确定对应箱体的轮廓线，从而识别点云中的各箱体个体。

步骤三，本实施例中的识别方法用于识别箱体顶壁为矩形的箱体。识别出各箱体个体后，以箱体轮廓线的中心为原点建立直角坐标轴1，直角坐标轴1的X轴和Y轴分别平行于矩形相邻的两个边，使得直角坐标轴1与各箱体点云平面平行，记录各箱体的原点坐标以及相应直角坐标轴1相对于基准坐标系的偏转程度，获得各箱体的位置姿态。

实施例二

一种堆垛箱体的识别方法，本实施例与实施一的不同之处在于，步骤二中，轮廓线基于各箱体点云建立，对各箱体点云的侧边进行连线且延长，得到完整闭合的轮廓线。点云中相邻箱体之间的部分侧边重合，连接并延长点云的侧边后，各个延长线交叉后获得一个完整闭合的轮廓线。

而且，在步骤三中，识别出各箱体个体后，本实施例识别方法用于识别在垛型最高层点云中轮廓线为平行四边形或等腰梯形或圆形或正多边形的箱体，以箱体轮廓线的中心为原点建立直角坐标轴1，且X轴和Y轴均与轮廓线边沿相交，使得直角坐标轴1与各箱体点云平面平行，记录各箱体的原点坐标以及相应直角坐标轴1相对于基准坐标系的偏转程度，获得各箱体的位置姿态。

实施例三

一种堆垛箱体的识别方法，本实施例与实施一的不同之处在于，步骤二中，轮廓线基于各箱体点云对应的箱体顶角建立，将各顶角连线得到完整连续的轮廓线。

本申请还提供一种堆垛箱体的抓取位姿的确定方法。

实施例一

如图2和图3所示，一种堆垛箱体的抓取位姿的确定方法，用于在垛型最高层点云中轮廓线为矩形的箱体，抓取执行器3也为矩形，且抓取执行器3的任一侧边的长度小于等于箱体顶面的最短边的长度。

抓取执行器3为吸盘，抓取执行器3初始位置的中心与待抓取箱体的中心对正，获得箱体的位置姿态后，抓取前进行如下步骤：

步骤一，基于上述形成的点云，对矩形以外的区域进行点云搜索，确认矩形每条边于矩形以外区域是否存在点云，若矩形存在一条边以外的区域不存在点云，则认为对应矩形轮廓线的箱体为垛型边缘箱体2，且对应的矩形轮廓线的侧边为外侧边21；

步骤二，以对应垛型边缘箱体2的轮廓线的中心为起点、以外侧边21的中点为终点的方向作为偏置方向；将与矩形轮廓线的外侧边21相邻的侧边设为偏置方向边22，由深度图得到边缘箱体偏置方向边22的长度，使抓取执行器3的短边与矩形轮廓线外侧边21平行，再结合抓取执行器3平行于偏置方向边22的侧边的长度计算偏置量，抓取执行器3的长边平行于偏置方向边22，偏置量等于抓取执行器3与偏置方向边22平行的侧边减去偏置方向边22长度的差值的二分之一，差值为负数时，偏置量取零；本实施例中，偏置方向边22的长度为a、抓取执行器3长边的长度为b，偏置量等于(b-a)/2。

步骤三，基于各边缘箱体相应的偏置方向上偏置量，得到抓取位姿。

实施例二

一种堆垛箱体的抓取位姿的确定方法，与实施例一的不同之处在于，步骤一中，若矩形存在不相邻的两条边以外的区域均不存在点云，则存在两条外侧边21。则步骤二中，以任一外侧边21的中点为终点的方向作为偏置方向。

实施例三

如图4和图5所示，一种堆垛箱体的抓取位姿的确定方法，与实施例一的不同之处在于，本实施例的识别方法用于面积大于箱体顶面的抓取执行器3，且在垛型最高层点云中轮廓线为矩形的箱体，抓取执行器3也为矩形，且抓取执行器3相邻两侧边长度均大于箱体顶面相邻两侧边的长度。

步骤一，基于上述形成的点云，对矩形以外的区域进行点云搜索，确认矩形每条边于矩形以外区域是否存在点云，若矩形轮廓线存在至少一组相邻侧边以外的区域不存在点云，则认为对应的矩形为垛型边缘箱体2，则矩形侧边包括一组或两组相邻的外侧边21；由深度图得到边缘箱体矩形相邻两外侧边21的长度，分别为x和y，抓取执行器3的相邻两侧边分别为w和l。

步骤二，以对应箱体的矩形轮廓线的中心为起点、以长度为x的外侧边4的中点为终点的方向作为第一偏置方向，则长度为y的外侧边5的长度方向即为第一偏置方向，将与长度为x的侧边相邻的外侧边设为第一偏置方向边，长度为y的外侧边5即为第一偏置方向边，再结合抓取执行器3平行于第一偏置方向边的侧边的长度计算得到第一偏置量，本实施例中，抓取执行器3长度为l的边7平行于第一偏置方向边；则第一偏置量为(l-y)/2。

重复步骤二，以对应箱体的矩形的中心为起点、以长度为y的外侧边5的中点为终点的方向作为第二偏置方向，则长度为x的外侧边4的长度方向即为第二偏置方向，将与长度为y的外侧边5相邻的外侧边设为第二偏置方向边，长度为x的外侧边4即为第二偏置方向边，再结合抓取执行器3平行于第一偏置方向边的侧边的长度计算得到第二偏置量。本实施例中，抓取执行器3长度为w的边6平行与第二偏置方向边；则第一偏置量为(w-x)/2。

实施例四

一种堆垛箱体的抓取位姿的确定方法，与实施例一的不同之处在于，用于面积等于箱体顶面的抓取执行器3，且在垛型最高层点云中轮廓线为矩形的箱体，抓取执行器3也为矩形，且抓取执行器3相邻两侧边长度均等于于箱体顶面相邻两侧边的长度。

偏置量等于抓取执行器3与偏置方向边22平行的侧边减去偏置方向边22长度的差值的二分之一，差值为零，偏置量为零。抓取执行器3不用进行偏置。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种堆垛箱体的识别方法，其特征在于，包括如下步骤：

拍照获得垛型的深度图，根据垛型的深度图中的深度值，识别出垛型最高层区域，基于垛型最高层区域恢复出垛型最高层的点云；

在垛型最高层区域中建立各箱体的轮廓线，从而识别垛型最高层的点云的各箱体。

2.根据权利要求1所述的堆垛箱体的识别方法，其特征在于，所述轮廓线基于各箱体点云建立，对各箱体点云的侧边进行连线且延长，得到完整闭合的轮廓线。

3.根据权利要求1所述的堆垛箱体的识别方法，其特征在于，所述轮廓线基于各箱体点云对应的箱体顶角建立，将相邻顶角连线得到完整连续的轮廓线。

4.根据权利要求1所述的堆垛箱体的识别方法，其特征在于，所述轮廓线通过如下步骤获得：从拍摄所述堆垛箱体深度图的视角拍摄平面图，根据平面图识别出垛型最高层区域中各箱体的顶点，根据各箱体的顶点在垛型最高层点云中确定对应箱体的轮廓线，从而识别点云中的各箱体个体。

5.根据权利要求4所述的堆垛箱体的识别方法，其特征在于，所述平面图为彩色图。

6.根据权利要求1至5任一项所述的堆垛箱体的识别方法，其特征在于，所述识别方法用于识别顶壁为矩形、等腰梯形、平行四边形、圆形或正多边形中任一种的箱体；

所述识别方法还包括，识别出各箱体个体后，以箱体轮廓线的中心为原点建立直角坐标轴，且X轴和Y轴均与轮廓线边沿相交，使得所述直角坐标轴与各箱体点云平面平行，记录各箱体的原点坐标以及相应直角坐标轴相对于基准坐标系的偏转程度，获得各箱体的位置姿态。

7.根据权利要求6所述的堆垛箱体的识别方法，其特征在于，所述识别方法用于识别顶壁为矩形的箱体，直角坐标轴的X轴和Y轴分别平行于矩形相邻的两个边。

8.一种堆垛箱体的抓取位姿的确定方法，其特征在于，抓取执行器初始位置的中心与待抓取箱体的矩形轮廓线的中心对正，获得如权利要求7所述箱体的位置姿态后，抓取前进行如下步骤：

步骤一，基于权利要求7中形成的点云，对矩形轮廓线以外的区域进行点云搜索，确认矩形轮廓线每条边于矩形轮廓线以外区域是否存在点云，若矩形轮廓线存在至少一条边以外的区域不存在点云，则认为对应矩形轮廓线的箱体为垛型边缘箱体，且对应的矩形轮廓线的侧边为外侧边；

步骤二，以对应垛型边缘箱体的轮廓线的中心为起点、以任一外侧边的中点为终点的方向作为偏置方向；将与矩形轮廓线的外侧边相邻的侧边设为偏置方向边，由深度图得到边缘箱体偏置方向边的长度，再结合抓取执行器平行于偏置方向边的侧边的长度计算偏置量，偏置量等于抓取执行器与偏置方向边平行的侧边减去偏置方向边长度的差值的二分之一，所述差值为负数时，偏置量取零；

步骤三，基于各边缘箱体相应的偏置方向上偏置量，得到抓取位姿。

9.根据权利要求8所述的堆垛箱体的抓取位姿的确定方法，其特征在于：所述步骤一中，若矩形存在至少一组相邻侧边以外的区域不存在点云，则矩形侧边包括至少一组相邻的外侧边；

以对应垛型边缘箱体的轮廓线的中心为起点、以任一组相邻外侧边中的任一外侧边的中点为终点的方向作为偏置方向，重复步骤二，得到第一偏置方向和第一偏置方向上的第一偏置量；以对应箱体的矩形的中心为起点、以同一组相邻外侧边中的另一外侧边的中点为终点的方向作为偏置方向，得到第二偏置方向和第二偏置方向上的第二偏置量。

Images