CN109035330A

CN109035330A - 箱体拟合方法、设备和计算机可读存储介质

Info

Publication number: CN109035330A
Application number: CN201810941734.8A
Authority: CN
Inventors: 吕仕杰
Original assignee: Shenzhen Blue Fat Robot Co Ltd
Current assignee: Shenzhen Blue Fat Robot Co Ltd
Priority date: 2018-08-17
Filing date: 2018-08-17
Publication date: 2018-12-18

Abstract

本发明公开一种箱体拟合方法、设备和计算机可读存储介质，所述箱体拟合方法包括：获得多个深度摄像头在不同角度拍摄目标获得的多个三维点云；将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云；根据拼合点云拟合出多个矩形区域，并且获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出箱体区域。本发明具有提高识别箱体形状的准确度，提高机器人分拣的成功率的效果。

Description

箱体拟合方法、设备和计算机可读存储介质

技术领域

本发明涉及机器人分拣领域，特别涉及箱体拟合方法、设备和计算机可读存储介质。

背景技术

目前随着物流自动化的发展，机器人分拣也越来越火热，而物体的形状估计又是其中关键的一步，为机器人对货物摆放位置的选择起着决定性的作用。但是，机器人分拣系统通常采用二维方法估计体积，难以分割出长宽高。另外，物体的大小在二维图像上，形状会随着距离相机的远近而变化，远小近大，因此常常测不准，导致机器人分拣的成功率降低。

发明内容

本发明的主要目的是提供箱体拟合方法、设备和计算机可读存储介质，旨在提高识别箱体形状的准确度，提高机器人分拣的成功率。

为实现上述目的，本发明提出的一种箱体拟合方法，用于机器人分拣系统，所述箱体拟合方法包括：

获得多个深度摄像头在不同角度拍摄目标获得的多个三维点云；

将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云；

根据拼合点云拟合出多个矩形区域，并且获得每一矩形区域的法线；

将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；

根据所述参考平面和相关平面拟合出箱体区域。

可选的，所述根据拼合点云拟合出多个矩形区域包括：

根据拼合点云以及平面提取方法提取出多个平面；

将所提取的每一平面以各自正视方向投影到平面，而获得二维平面数据；

再根据二维平面数据拟合获得矩形区域。

可选的，所述平面提取方法采用RANSAC方法。

可选的，所述将达到预设条件的一矩形区域作为参考平面包括：

获得每一矩形区域的角点信息；

根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并且该矩形区域作为参考平面。

可选的，

在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：

旋转拼合点云，将参考平面的相交两边分别为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向；

所述根据所述参考平面和相关平面拟合出箱体区域包括：

将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到箱体区域应有的方位；

融合所述参考平面和相关平面的位置，拟合出长方体区域。

本发明还提出了一种箱体拟合设备，所述箱体拟合设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的箱体拟合程序，所述箱体拟合程序被所述处理器执行时实现如下步骤：

根据所述参考平面和相关平面拟合出箱体区域。

可选的，所述根据拼合点云拟合出多个矩形区域包括：

根据拼合点云以及平面提取方法提取出多个平面；

再根据二维平面数据拟合获得矩形区域。

获得每一矩形区域的角点信息；

可选的，

所述根据所述参考平面和相关平面拟合出箱体区域包括：

融合所述参考平面和相关平面的位置，拟合出长方体区域。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有箱体拟合程序，所述箱体拟合程序被处理器执行时实现如上述的箱体拟合方法的步骤。

本发明所提供的箱体拟合方法，通过采用深度摄像头，从而可以获得目标物体的三维点云。再通过三维点云进行提取平面以及拟合矩形区域，然后通过识别属于目标物体的矩形区域，最后所识别的这些矩形区域拟合出箱体区域。相对于通过二维视觉来是被箱体的形状，则本实施例通过上述步骤获得的箱体区域，具有拟合精度高，能够精确获得目标物体的空间坐标信息。进而大幅提高了识别箱体形状的准确度，提高机器人分拣的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明箱体拟合方法第一实施例的流程图；

图2为如图1中箱体拟合方法的应用例的一示意图；

图3为如图1中箱体拟合方法的应用例的另一示意图；

图4为本发明箱体拟合方法第二实施例的部分流程图；

图5为本发明箱体拟合方法第三实施例的部分流程图；

图6为本发明箱体拟合方法第四实施例的部分流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例提供了一种箱体拟合方法，用于机器人分拣系统。

请结合参看图1至图3，所述箱体拟合方法包括：

步骤S101，获得多个深度摄像头在不同角度拍摄目标获得的多个三维点云。

步骤S102，将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云。

步骤S103，根据拼合点云拟合出多个矩形区域，并且获得每一矩形区域的法线。

步骤S104，将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面。

步骤S105，根据所述参考平面和相关平面拟合出箱体区域。

在本实施例中，首先通过预先布局好的多个深度摄像头进行拍照或者录像，而获得多个深度摄像头在不同角度拍摄目标获得的多个三维点云。其中，深度摄像头可以获得三维视觉，相对传统摄像头只能获得二维视觉，则多了一个维度，可以实现更加正确的物体分割，合适精度的三维测量，三维数据的模型重建以及智能视觉识别和分析。深度摄像头的实现方案有多种，例如下述方案：一是单目结构光，代表公司有苹果、微软Kinect-1、英特尔RealSense、Google Project Tango等。二是双目可见光，代表公司LeapMotion。三是飞行时间法(TOF)，代表公司微软Kinect-2。通过多个深度摄像头从不同角度拍照，从而可以获得目标物体在不同角度时的三维点云。如图2中示出了一个深度摄像头从一个角度拍摄目标物体所获得的三维点云。

在本实施例中，在获得多个深度摄像头在不同角度拍摄目标获得的多个三维点云之后，再将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云。其中，三维点云的拼合方案可以有多种。例如，固定深度摄像头的位置和拍摄角度，然后人工将每一深度摄像头的坐标系调整至对应预设坐标系，记录各个深度摄像头调整所对应的调整值，则后续拍照时按照该调整值自动修正即可。而多个深度摄像头的三维点云都具有相同坐标系时，则可以拼合三维点云。又例如，在拍摄场景中包括背景特别识别点，而这些背景特别识别点为固定点。当深度摄像头拍摄的三维点云中包括了这些背景特别识别点，然后通过系统自动移动或旋转，而将这些背景特别识别点进行重叠，则可以拼合三维点云。由于目标物体的摆放位置在实际分拣时为随机摆放。因此，若一个目标物体(矩形箱子)刚好一个面正对一个深度摄像头，在该深度摄像头仅仅能够获得该目标物体的两个面的全部或部分三维点云，例如：正面全部和顶面一部分。此时在其他角度拍摄的深度摄像头则可以至少捕捉到该目标物体两个面的全部或部分三维点云，例如：背面全部和顶面另一部分。因此，多个深度摄像头至少可以拍摄到目标物体的三个面的完整的三维点云，从而具有了拟合目标物体的充分条件。而该充分条件则可以称为“具有目标完整长宽高信息的拼合点云”。

在本实施例中，在将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云之后，再根据拼合点云拟合出多个矩形区域，并且获得每一矩形区域的法线。其中，通过拼合点云拟合出多个矩形区域，可以将点云进行分隔，而将属于同一平面的点云进行集合，再根据该点云集合的边缘来拟合出矩形区域。由于本实施例中的箱子为矩形体状，因此仅仅需要拟合为矩形区域即可。进一步对该矩形区域做中垂线即可获得通过该矩形区域的法线。但是而这些矩形区域包括目标物体的面，也包括其他背景中杂物的面。因此，在后续步骤中还需要识别出属于目标物体的面。

在本实施例中，在拟合出多个矩形区域之后，再将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面。其中，预设条件可以是矩形区域的面积达到多少，以及形成矩形区域的点云的密度达到多少，以及是否位于图像的预设位置等等。通过预设条件的筛选，则可以获得属于目标物体的一个矩形区域，标记为参考平面。相应的，由于本实施例中的箱子为矩形体状，因此其他的矩形区域应当与该矩形区域具有法线垂直的属性。因此，再查找法线与该矩形区域的法线相垂直的其他矩形区域，而这些区域则为属于目标物体的其他矩形区域。这些区域标记为相关平面。

在本实施例中，在找到参考平面和相关平面之后，再根据所述参考平面和相关平面拟合出箱体区域。其中，若参考平面和相关平面包括三个面，则根据这三个面的边缘信息，则可以估计获得另外三个面，从而完成拟合箱体区域，如图3所示。若参考平面和相关平面包括四个面，则可以根据四个面的边缘信息估计获得另外两个面，从而完成拟合箱体区域，等等。

本实施例所提供的箱体拟合方法，通过采用深度摄像头，从而可以获得目标物体的三维点云。再通过三维点云进行提取平面以及拟合矩形区域，然后通过识别属于目标物体的矩形区域，最后所识别的这些矩形区域拟合出箱体区域。相对于通过二维视觉来是被箱体的形状，则本实施例通过上述步骤获得的箱体区域，具有拟合精度高，能够精确获得目标物体的空间坐标信息。进而大幅提高了识别箱体形状的准确度，提高机器人分拣的成功率。

实施例二

本实施例提出一种箱体拟合方法。本实施例在上述实施例的基础上，对步骤S103进行了限定。具体如下：

请参看图4，所述步骤S103中根据拼合点云拟合出多个矩形区域包括：

步骤S201，根据拼合点云以及平面提取方法提取出多个平面。

步骤S202，将所提取的每一平面以各自正视方向投影到平面，而获得二维平面数据。

步骤S203，再根据二维平面数据拟合获得矩形区域。

在本实施例中，在获得拼合点云之后，根据拼合点云以及平面提取方法提取出多个平面。其中，平面提取方法可以有多种，例如采用RANSAC随机采样一致性方法。RANSAC算法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：1.有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。2.用1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。3.如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。4.然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。5.最后，通过估计局内点与模型的错误率来评估模型。通过将拼合点云分割提取为多个平面，而这些平面中，既包括了属于目标物体的平面，也包括了背景杂物的平面。

在本实施例中，在根据拼合点云以及平面提取方法提取出多个平面之后，将所提取的每一平面以各自正视方向投影到平面，而获得二维平面数据。其中，每一平面应当有各自的平面方向，因此可以获得各自的法线，再根据法线方向进行投影即可获得正视方向的投影。在投影到平面之后，即可获得关于该提取的平面的二维平面数据了。

在本实施例中，在获得每一平面的二维平面数据之后，再根据二维平面数据拟合获得矩形区域。

在本实施例中，通过进行平面提取，然后找到提取平面的法线，再进行正向投影到平面而获得二维平面数据，根据该二维平面数据即可拟合获得矩形区域。该获得矩形区域的方案，具有高效和准确的效果。进一步的，再采用RANSAC方法来提取三维点云中的平面，则具有提取平面高效和准确的效果。

实施例三

本实施例提出一种箱体拟合方法。本实施例在上述实施例的基础上，对步骤S104进行了限定。具体如下：

请参看图5，所述步骤S104中将达到预设条件的一矩形区域作为参考平面包括：

步骤S301，获得每一矩形区域的角点信息。

步骤S302，根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并且该矩形区域作为参考平面。

在本实施例中，在获得矩形区域之后，获得每一矩形区域的角点信息。其中，每一矩形区域包括四个角，四个角上的点即为角点。通过记录角点信息即可获得矩形区域的范围。

在本实施例中，在获得每一矩形区域的角点信息之后，再根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并且该矩形区域作为参考平面。其中，深度摄像头在拍摄时，越近的物体的点云密度越大。因此通过密度比对，可知矩形区域是否为深度摄像头的拍摄主体。进一步的，再通过检测矩形区域的面积，密度最大的矩形区域，并且面积达到预设阈值，则可以判定该矩形区域属于目标物体。因此将该矩形区域标记为参考平面。

在本实施例中，通过获得并储存每一矩形区域的角点信息，则能够以较低的储存信息来代表一个矩形区域，并且降低运算量。并且通过密度和面积的筛选属于目标物体的矩形区域，则具有筛选的难度小，筛选准确度高的效果。

实施例四

本实施例提出一种箱体拟合方法。

本实施例在上述实施例的基础上，对额外增加了步骤，并且对步骤S105进行了详细说明。具体如下：

请参看图6，在所述步骤S302所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：

步骤S401，旋转拼合点云，将参考平面的相交两边分别为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向。

所述步骤S105根据所述参考平面和相关平面拟合出箱体区域包括：

步骤S402，将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到箱体区域应有的方位。

步骤S403，融合所述参考平面和相关平面的位置，拟合出长方体区域。

所述步骤S403具体可以包括：根据预设比对坐标系检测前面、左面、右面、上面和下面。

若左面检测到一个矩形区域，则以该矩形区域角点最左侧点的坐标作为整个长方体的左边界，否则使用其他矩形区域最左的角点的坐标作为左边界。

若右面检测到一个矩形区域，则以该矩形区域角点最右侧点的坐标作为整个长方体的右边界，否则使用其他矩形区域最右的角点的坐标作为右边界。

若上面检测到一个矩形区域，则以该矩形区域角点最上侧点的坐标作为整个长方体的上边界，否则使用其他矩形区域最上的角点的坐标作为上边界。

若下面检测到一个矩形区域，则以该矩形区域角点最下侧点的坐标作为整个长方体的下边界，否则使用其他矩形区域最下的角点的坐标作为下边界。

若前面检测到一个矩形区域，则以该矩形区域角点最前侧点的坐标作为箱体区域的前边界，否则使用其他矩形区域最前的角点的坐标作为前边界。

若后面检测到一个矩形区域，则以该矩形区域角点最后侧点的坐标作为箱体区域的后边界，否则使用其他平面最后的角点的坐标作为后边界。

根据前边界、后边界、左边界、右边界、上边界和下边界拟合出箱体区域。

本实施例所提供的箱体拟合方法，通过旋转拼合点云，从而使得参考平面和相关平面旋转至预设比对坐标系中，从而能够便于进行规则比对，能够快速准确的获得比对结果。从而达到拟合的速度快，准确度高的效果。

实施例五

本实施例提出一种箱体拟合设备。

所述箱体拟合设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的箱体拟合程序，所述箱体拟合程序被所述处理器执行时实现如下步骤：

根据所述参考平面和相关平面拟合出箱体区域。

本实施例所提供的箱体拟合设备，通过采用深度摄像头，从而可以获得目标物体的三维点云。再通过三维点云进行提取平面以及拟合矩形区域，然后通过识别属于目标物体的矩形区域，最后所识别的这些矩形区域拟合出箱体区域。相对于通过二维视觉来是被箱体的形状，则本实施例通过上述步骤获得的箱体区域，具有拟合精度高，能够精确获得目标物体的空间坐标信息。进而大幅提高了识别箱体形状的准确度，提高机器人分拣的成功率。

本实施例的箱体拟合设备的技术特征还可以参照上述箱体拟合方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

实施例六

本实施例提出一种计算机可读存储介质。

所述计算机可读存储介质上存储有箱体拟合程序，所述箱体拟合程序被处理器执行时实现步骤：

根据所述参考平面和相关平面拟合出箱体区域。

本实施例所提供的计算机可读存储介质，通过采用深度摄像头，从而可以获得目标物体的三维点云。再通过三维点云进行提取平面以及拟合矩形区域，然后通过识别属于目标物体的矩形区域，最后所识别的这些矩形区域拟合出箱体区域。相对于通过二维视觉来是被箱体的形状，则本实施例通过上述步骤获得的箱体区域，具有拟合精度高，能够精确获得目标物体的空间坐标信息。进而大幅提高了识别箱体形状的准确度，提高机器人分拣的成功率。

本实施例的计算机可读存储介质的技术特征还可以参照上述箱体拟合方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种箱体拟合方法，用于机器人分拣系统，其特征在于，所述箱体拟合方法包括：

根据多个深度摄像头在不同角度拍摄目标，获得目标的多个三维点云；

将多个三维点云拼合成目标的拼合点云，其中拼合点云包含目标完整的长宽高信息；

根据所述参考平面和相关平面拟合出箱体区域。

2.如权利要求1所述的箱体拟合方法，其特征在于，所述根据拼合点云拟合出多个矩形区域包括：

根据拼合点云以及平面提取方法提取出多个平面；

再根据二维平面数据拟合获得矩形区域。

3.如权利要求2所述的箱体拟合方法，其特征在于，所述平面提取方法采用RANSAC方法。

4.如权利要求2所述的箱体拟合方法，其特征在于，所述将达到预设条件的一矩形区域作为参考平面包括：

获得每一矩形区域的角点信息；

根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面。

5.如权利要求4所述的箱体拟合方法，其特征在于，在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：

所述根据所述参考平面和相关平面拟合出箱体区域包括：将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到箱体区域应有的方位；

融合所述参考平面和相关平面的位置，拟合出长方体区域。

6.一种箱体拟合设备，其特征在于，所述箱体拟合设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的箱体拟合程序，所述箱体拟合程序被所述处理器执行时实现如下步骤：

根据所述参考平面和相关平面拟合出箱体区域。

7.如权利要求6所述的箱体拟合设备，其特征在于，所述根据拼合点云拟合出多个矩形区域包括：

根据拼合点云以及平面提取方法提取出多个平面；

再根据二维平面数据拟合获得矩形区域。

8.如权利要求7所述的箱体拟合设备，其特征在于，所述将达到预设条件的一矩形区域作为参考平面包括：

获得每一矩形区域的角点信息；

9.如权利要求8所述的箱体拟合设备，其特征在于，在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：

所述根据所述参考平面和相关平面拟合出箱体区域包括：

融合所述参考平面和相关平面的位置，拟合出长方体区域。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有箱体拟合程序，所述箱体拟合程序被处理器执行时实现如权利要求1至5中任一项所述的箱体拟合方法的步骤。